Pourquoi et comment évaluer l’action associative

Par Eric Moachon, évaluateur à la Cour des comptes de Genève et membre du comité du Groupe romand d’évaluation (GREVAL) de la Société suisse d’évaluation (SEVAL)

Les associations bénéficiant de subventions étatiques pour réaliser des tâches d’intérêt public sont appelées à rendre des comptes de plus en plus précis sur l’utilisation qu’elles font de l’argent public. Les contrats de prestations constituent un des moyens privilégiés de cette exigence. L’atteinte des objectifs contenus dans ces accords est le plus souvent évaluée par le biais d’indicateurs. Outre les aspects financiers, les indicateurs portent le plus souvent sur les moyens mis en œuvre par les associations et le respect par ces dernières de normes dites de qualité [1].

Cette exigence de redevabilité vis-à-vis des financeurs ne fait pas toujours sens pour les acteurs associatifs eux-mêmes, étant donné que les indicateurs utilisés sont souvent insuffisamment spécifiques pour susciter un effet d’apprentissage et favoriser une amélioration des processus organisationnels. Elle a encore moins de signification pour les bénéficiaires de l’action associative et pour les citoyens contribuables qui ne perçoivent pas le rapport entre cet exercice de mesure et l’impact aux niveaux individuel et sociétal des prestations fournies.

Dans ce contexte, la décision du Groupe romand d’évaluation [2] d’organiser une conférence [3] pourrait paraître une cause perdue. Pourtant, il convient de ne pas jeter le bébé évaluation avec l’eau du bain de la redevabilité budgétaire. Évaluer l’action associative ne se limite pas à rendre des comptes à des bailleurs de fonds sur l’utilisation de l’enveloppe annuelle en justifiant, au centime près, toutes les dépenses. Comme ce texte souhaite l’esquisser, la palette de l’évaluateur est suffisamment large pour accommoder un grand nombre d’objectifs et de modalités d’évaluation.

Pourquoi et pour qui évaluer ?

Les raisons d’entreprendre une évaluation sont multiples. La question de la redevabilité, évoquée ci-dessus dans le cas de la relation financeur-prestataire, peut s’élargir à d’autres destinataires : les membres de l’organisation, les bénéficiaires de l’action, le grand public, une organisation professionnelle, etc. Outre la redevabilité, la réalisation d’une évaluation vise souvent l’amélioration de l’action en identifiant d’éventuels freins et en proposant des pistes d’amélioration. Cette raison d’évaluer est celle qui intéresse le plus les acteurs associatifs qui y voient l’occasion de « relever la tête du guidon ». Finalement, l’activité d’évaluation sert aussi à la production de connaissances, car certains résultats sont utiles à d’autres acteurs menant des interventions similaires.

Objets et critères d’évaluation

Dans ses standards de qualité, la Société suisse d’évaluation définit l’évaluation comme « une analyse et une appréciation systématique et transparente de la conception, de la mise en œuvre et/ou des effets d’un objet d’évaluation ». Il est possible d’évaluer toute activité finalisée qui comporte un public-cible et des bénéficiaires et qui vise une action sur le public-cible en question afin d’améliorer la situation des bénéficiaires de cette activité [4]. Il peut, par exemple, s’agir d’une activité visant à sensibiliser les parents à l’importance d’une alimentation équilibrée pour la santé et le développement de leurs enfants. Dans la plupart des cas, les activités font partie de programmes à plus large échelle, comme un programme cantonal de prévention du diabète, qui fait lui-même partie d’une politique publique en matière de santé. L’évaluation est possible à chacun de ces niveaux. Nous resterons toutefois, dans la suite du texte, à l’échelle de l’action d’une association donnée.

Les critères d’évaluation sont conçus pour orienter les questions auxquelles l’évaluation devra répondre. Ces critères sont multiples et le plus souvent employés conjointement dans la même évaluation. Ces critères mettent en rapport les objectifs (à plus ou moins longue échéance) des interventions évaluées, les moyens à disposition et les caractéristiques de l’environnement. Il s’agit notamment de l’efficacité, de l’effectivité, de l’efficience et de la pertinence [5]. L’efficacité désigne le rapport entre les résultats atteints et les objectifs, l’effectivité concerne la mise en œuvre des interventions prévues, l’efficience désigne l’atteinte des objectifs en fonction des ressources utilisées, tandis que la pertinence examine le rapport de l’ensemble de l’intervention évaluée avec les besoins ou les caractéristiques de l’environnement.

Pour répondre aux questions d’évaluation construites en fonction de ces critères, il est possible de mobiliser un grand nombre de techniques de recueil et d’analyse de données. La plupart des évaluations recourent à une combinaison de méthodes qualitatives et quantitatives. Les méthodes quantitatives sont particulièrement indiquées pour l’analyse d’échantillons de taille importante et l’application de procédés d’évaluation statistiques permettant de mesurer le plus objectivement possible un phénomène et de quantifier des faits concrets. Il peut s’agir de sondages, de comptages et d’analyse de statistiques existantes. Les méthodes qualitatives permettent d’analyser un objet donné dans le détail et de manière approfondie afin d’appréhender finement les diverses dimensions du phénomène étudié. Il peut s’agir d’entretiens individuels ou collectifs plus ou moins structurés ainsi que d’analyses documentaires.

Les critères d’évaluation ne sont pas employés avec la même fréquence. Souvent, les évaluations demandées par les financeurs des activités associatives se concentrent sur le critère de l’effectivité, mesurant les produits administratifs, à l’exemple du taux d’occupation des structures résidentielles, plutôt que l’impact des actions [6] . Dans la même logique, un critère tel que la pertinence qui permet de questionner le sens même de l’action n’est pas souvent mis en œuvre.

Modalités d’évaluation

L’évaluation des activités d’une association se réalise selon différentes configurations. D’une part, la demande d’évaluation peut provenir soit de l’association soit de l’extérieur (évaluation choisie vs évaluation imposée). D’autre part, l’évaluation peut être réalisée par un tiers ou par les membres de l’association (évaluation externe vs auto-évaluation). Ces deux dimensions sont parfois croisées et des variantes intermédiaires existent. Un exemple : une auto-évaluation réalisée avec l’aide d’un expert externe et découlant d’une demande des financeurs retravaillée par l’association.

Ces modalités correspondent à des niveaux différents d’implication des parties prenantes (autorités administratives et politiques, dirigeants associatifs, collaborateurs de terrain, membres d’organisations partenaires, bénéficiaires, etc.). Dans une évaluation, la participation au processus de ces acteurs dans toute leur diversité constitue une des dimensions promues par les standards d’évaluation de la Société suisse d’évaluation. Cette implication varie en fonction des caractéristiques et des attentes des parties prenantes. Elle va de la prise en compte de l’avis de ces personnes durant le processus d’évaluation (entretiens, sondages) à une intégration dans l’équipe d’évaluation parmi les personnes amenées à formuler l’appréciation évaluative sur la base des données recueillies (cf. l’approche pluraliste de l’évaluation défendue par Monnier [7]). Des modalités intermédiaires, telles que la participation à un groupe d’accompagnement se prononçant tant sur les questions d’évaluation que sur les résultats et les recommandations, sont de plus en plus souvent prévues, attendu que cette participation renforce la qualité des analyses et la pertinence des recommandations.

Un questionnement réflexif

Pour une association, l’évaluation paraît souvent comme une opération dont les questionnements ne sont pas forcément pertinents, d’autant plus qu’elle est souvent pilotée de l’extérieur et réalisée par des personnes externes. Les évaluations de ce type apportent en effet peu aux acteurs associatifs en termes d’apprentissage, en particulier quand leur participation au processus n’est pas sollicitée. Il existe pourtant d’autres modalités d’évaluation destinées à un public plus large que les financeurs. Ces modalités permettent en premier lieu de poser un questionnement réflexif sur les activités de l’association (s’assurer que ses objectifs sont pertinents et que ses interventions correspondent aux besoins). Elles visent ensuite une amélioration de ses activités (s’assurer de la réalisation et de l’impact des prestations délivrées). Une fois ces questionnements couverts, et pas avant, il sera possible de s’interroger sur le rapport entre les ressources investies et les résultats atteints.

[1] Voir à ce propos Moachon, E (2015) Impact des instruments de redevabilité sur la mise en œuvre des politiques d’insertion socioprofessionnelle en Suisse romande, Thèse de doctorat en science politique, Université de Lausanne, en ligne

[2] Groupe romand d’évaluation (GREVAL), site internet

[3] La première Biennale du Groupe romand d’évaluation a lieu le 29 mars 2017 à Lausanne. Présentation sur cette page de l’agenda de REISO.

[4] Autrement dit, le public-cible est celui que l’action évaluée tente d’influencer, alors que les bénéficiaires sont ceux auxquels l’action évaluée est censée apporter un avantage. Il convient de noter que ces deux catégories se superposent parfois.

[5] Pour une définition exhaustive de ces critères voir les Normes de qualité pour l’évaluation du développement du Comité pour l’aide au développement de l’OCDE en format pdf

[6] Article de Latha Heiniger sur REISO : « Comment évaluer les contrats de prestation »

[7] Monnier, E. (2007), « Introduction », in Le citoyen, l’élu, l’expert : pour une démarche pluraliste des politiques publiques, Actes des 7èmes Journées de l’Évaluation, Paris : L’Harmattan.