Réflexions sur l'évaluation des politiques

Ides Nicaise

Citer cet article

Référence électronique

Ides Nicaise, « Réflexions sur l'évaluation des politiques », Revue Quart Monde [En ligne], 141 | 1991/4, mis en ligne le 05 mai 1992, consulté le 02 décembre 2020. URL : https://www.revue-quartmonde.org/3680

L’effort d’objectivité que comporte toute évaluation peut être servi par les savoir-faire de chercheurs. A eux, en particulier de faire exister les absents non atteints par les dispositifs qui leur sont destinés. Mais à eux aussi de se mettre dans une attitude qui stimule le dialogue entre tous les acteurs.

Index de mots-clés

Evaluation, Partenariat

Les réflexions présentées ci-dessous se fondent sur mon expérience de chercheur au HIVA ( Hoger Institut voor de Arbeid1), institut interdisciplinaire fondé et géré conjointement par l’Université catholique de Leuven et le mouvement ouvrier chrétien en Flandre, pour étudier toutes les questions d’intérêt pour ce dernier. Des mandataires de ce mouvement occupent  des postes ministériels tels que l’enseignement, emploi et travail, émancipation sociale, famille et bien-être, environnement... Notre institut fonctionne sur base de contrats de recherche, non seulement avec des cabinets ministériels ou le mouvement ouvrier lui-même, mais aussi avec diverses associations, entreprises, fonds de recherche, institutions européennes. Les études menées sont presque toujours en rapport direct avec la préparation ou l’évaluation de politiques.

Il n’est donc pas difficile, pour un allié d’ATD Quart Monde de se sentir à l’aise dans un tel milieu : d’une part, le mouvement ouvrier a toujours été promoteur de la démocratie et des droits des groupes défavorisés, et d’autre part, c’est notre tâche d’aider ce mouvement à retrouver ses racines parmi ceux qui vivent la condition qui l’a fait naître. Il va sans dire que le mouvement ouvrier exclut lui aussi, comme toute organisation ; il y a certes des conflits d’intérêt entre salariés et chômeurs, entre ceux qui contribuent à la sécurité sociale et ceux qui en dépendent ou même en sont exclus, entre l’élève moyen et le plus marginalisé à l’école… mais au moins, le dialogue reste possible et le souci de solidarité est réel. Il s’agit d’affiner son regard, de rappeler l’essentiel de la lutte ouvrière.

En effet, ATD Quart Monde nous apprend à faire une lecture critique de toute mesure politique à partir du vécu des familles les plus pauvres. Cette attitude peut éventuellement nous amener à critiquer des mesures qui au départ ont pour objectif une plus grande égalité. Ainsi par exemple, nous étions récemment invités à commenter un projet de l’Exécutif flamand visant à combattre les abus de certaines catégories d’indépendants dans le système des allocations d’études. Puisque les revenus fiscaux des indépendants sont souvent sous-estimés, ils profitent aussi à tort des avantages sociaux qui sont octroyés sur base du revenu fiscal, tels que les allocations d’études. L’Exécutif compte à l’avenir exclure du bénéfice ceux qui ont un revenu cadastral2 dépassant 20 % du revenu fiscal parce que ceci peut indiquer une certaine richesse camouflée. La confrontation de cette mesure, en principe égalitariste, au vécu des familles les plus pauvres nous en révèle cependant les dangers sous-jacents. En effet, pour les familles les plus pauvres aussi, il y a disproportion entre le revenu fiscal très faible, voire inexistant, et le revenu cadastral modeste mais néanmoins disproportionnel. En dernière minute, la proposition a été amendée pour protéger au moins certains groupes des plus défavorisés (allocataires sociaux, étudiants isolés…) contre les conséquences de cette mesure.

L’évaluation de toute politique à partir des plus exclus, même s’ils ne sont à première vue pas directement concernés, serait idéalement un réflexe, une préoccupation constante. Cela nous oblige à participer pleinement à tous les débats de la société, pas seulement  ceux relatifs à la distribution des revenus ou à l’emploi. Dans  cette perspective, le mouvement ouvrier nous sert d’exemple en s’intéressant tant aux relations mondiales et à la politique scientifique qu’au statut des enseignants.

Quelles sont les questions-clé d’une étude d’évaluation dans un domaine quelconque de la politique économique et sociale ? En les passant en revue, on s’aperçoit qu’elles correspondent en grande partie aux critères avancés dans le rapport Wresinski.

Atteindre les plus démunis

En premier lieu, il y a bien sûr celui de la portée des mesures, voire de la priorité qu’elles accordent aux plus démunis : atteignent-elles les individus ou familles les plus démunis, les plus marginalisés ? Un profil socio-économique des groupes concernés (part des couches socio-professionnelles inférieures, situation familiale, taux de chômage parmi les participants, distribution selon les niveaux de scolarité atteints...) constitue la méthode « classique » pour démontrer dans quelle mesure des groupes défavorisés prennent part aux avantages ; il s’agit pour nous d’affiner les critères (par exemple proportion des familles vivant du minimex, nombre de familles brisées, pourcentage d’échec scolaire ou d’illettrés, taux de décrochage…) pour deviner si les plus pauvres, eux aussi, sont partie prenante. La plupart du temps ces indicateurs ne sont même pas disponibles, ce qui nécessite des efforts supplémentaires pour les construire.

Encore faut-il distinguer « accès » et « garantie » : en comparant le profil et le nombre des participants à ceux du groupe de référence, on s’aperçoit quelquefois qu’une mesure peut être sélectivement orientée vers les groupes les plus défavorisés, sans leur être réellement garantie. Ainsi nous avons pu constater à notre étonnement il y a quelques années que 25 % des ayant droit aux allocations d’études dans l’enseignement secondaire en Flandre ne réclamaient pas leurs droits : en particulier des familles avec les parents les moins scolarisés, les plus bas situés sur l’échelle sociale et sur celle des revenus. Dans d’autres cas, on découvre des mécanismes administratifs très subtils qui excluent en pratique les pauvres des services publics : ainsi les chômeurs non indemnisés ont depuis quelques années été admis en principe à participer à toutes les mesures de réinsertion ; en pratique ils sont tacitement radiés des registres des demandeurs d'emploi après trois mois, simplement parce que l’agence de l’emploi craint que les statistiques du chômage soient entachées par des clients « de deuxième rang » qui retrouvent un emploi sans l’annoncer. Le résultat est cependant que, sans le savoir, des clients dont exclus des services de médiation et de formation, alors qu’ils sont obligés de s’inscrire comme demandeurs d’emploi pour, par exemple, obtenir le revenu minimum garanti.

Il s’agit alors de concevoir des solutions, administratives et autres, pour que de telles mesures ne restent pas lettre morte pour ceux qui devraient en jouir le plus.

Parfois la non-participation des plus pauvres est plus difficile à comprendre : il ne s’agit pas nécessairement de mesures discriminatoires ou de seuils administratifs à franchir. Comment expliquer, par exemple, la faible participation des chômeurs de longue durée (même des chômeurs indemnisés) aux programmes de formation qui leur sont destinés ? Alors que les enquêtes démontrent suffisamment leur désir de se former (70 à 80 % déclarent vouloir participer à des formations), on observe un comportement apparemment contradictoire. Certains sont alors amenés à croire qu’ils ne sont pas réellement disponibles pour le marché du travail, et à préconiser des sanctions massives.

Répondre à leurs besoins

Mais en amont de la question de (non) participation se situe celle de savoir dans quelle mesure des projets répondent réellement à leurs besoins, à leurs aspirations. Une telle question ne peut trouver de réponse par quelques simples statistiques ou questionnaires : un dialogue en profondeur avec les groupes-cible eux-mêmes est nécessaire pour comprendre (et cela vaut plus pour les démunis, si inconnus encore, que pour d’autres groupes). Sans cela, chercheurs et politiciens risquent de substituer leur propres préjugés aux motivations des groupes visés. Dans le cas des formations pour chômeurs de longue durée, « nous » pensons que l'offre de formation répond logiquement à leurs besoins ; « nous » savons que des formations dans des secteurs croissants ont de bonnes chances de déboucher sur des emplois ; « nous » concluons que ceux qui ne profitent pas des opportunités créées doivent bien être  inemployables, que ceux qui décrochent d’une formation ne sont pas assez motivés ou intelligents… Les rares études basées sur des interviews en profondeur révèlent qu’après un certain nombre de désillusions, la peur d’échouer à nouveau peut vraiment  paralyser un chômeur, qu’une formation sans accompagnement intensif, voire même sans garantie d’emploi représente pour lui un risque considérable. Sans compréhension des aspirations et motivations profondes des personnes concernées une politique bien intentionnée peut échouer ou même se retourner contre elles. Ainsi en Belgique, des mesures spécifiques sont actuellement conçues pour la catégorie des « inemployables » (ateliers sociaux, dispense de contrôle pour raisons sociales : « allocations-garage ») alors qu’ils auraient peut-être au contraire besoin d’un soutien actif pour retrouver un emploi - fût-il temporaire -  et leur fierté de travailleurs.

Inévitablement, le dialogue avec les familles nous apprend aussi à prendre en considération leur situation globale : des mesures de réinsertion doivent vraisemblablement contenir des éléments de formation, une composante de travail, un revenu stable et suffisant, des perspectives d’avenir, un soutien familial, un accueil pour les enfants…. Cette logique d’action contraste quelquefois avec la logique administrative de l’autorité qui subventionne et contrôle les actions. Ainsi le Fonds Social Européen, en tant que co-financeur des programmes nationaux visant à réinsérer des chômeurs de longue durée, s’est axé en premier lieu sur les formations formelles et des subventions à l’embauche : l’accompagnement individuel des chômeurs, la garderie d’enfants, les Jobclubs… sont-ils exclus du co-financement parce qu’ils sont trop difficiles à contrôler ?

Le terme « partenariat » n’est certes pas absent dans les politiques sociales modernes : il y a partenariat entre l’Europe et les Etats nationaux, entre gouvernements nationaux, régionaux et locaux, entre l’école et l’entreprise, entre services sociaux… Le partenariat avec les familles ou les jeunes, par contre, est loin d’être évident. Cela  vaut également pour la recherche : très peu de chercheurs appliquent la « recherche participative » comme méthode de travail dans leurs évaluations, soit parce qu’ils se sentent mal à l’aise sous l’œil critique des représentants du groupe cible, soit parce que des barrières administratives ou des contraintes de temps les empêchent de les consulter in extenso. Je crois que les Universités populaires du Quart Monde peuvent jouer un rôle très important à ce niveau. Une expérience concrète dans ce sens fut pour moi l’élaboration d’un questionnaire sur la perception et la participation des familles du Quart Monde aux décisions des services de protection de la jeunesse. Dans un groupe local de l'Université populaire à Leuven, des familles avaient partagé pendant six mois leurs expériences et leurs connaissances, d’où jaillit l’idée d’interroger tous les participants à l’Université populaire de Flandre. Ensemble nous avons rédigé et testé le questionnaire, qui finalement a été soumis non  seulement aux familles du Mouvement, mais aussi à un nombre de familles inconnues par le biais d’associations diverses. Faute de temps parmi les alliés, un crédit de recherche a été obtenu par notre institut pour dépouiller le questionnaire et rédiger un rapport, qui sera bientôt soumis aux familles pour en tirer des conclusions. Je crois en effet qu’un chercheur peut difficilement dénoncer le manque de partenariat dans des initiatives de ses commanditaires, s’il ne le pratique pas lui-même à son niveau…

L’efficacité attendue par qui ?

Le concept « évaluation » évoque nécessairement celui d’efficacité : il s’agit de démontrer dans quelle mesure des interventions débouchent sur les résultats attendus. Attendus par qui ? Il est clair que les objectifs des décideurs ne coïncident pas nécessairement avec ceux des destinataires. Dans l’évaluation des formations professionnelles par exemple, les pouvoirs organisateurs utilisent les taux de placement comme critère par excellence pour juger du succès des programmes offerts. Ces taux de placement sont évidemment importants, mais il est également important de savoir si les stagiaires ont progressé au niveau de leurs compétences sociales, de leur confiance en eux, et si finalement ils se dessinent un projet d’avenir. A long terme ces effets se traduiront peut-être en une situation de travail plus stable... Les différences de critères conduisent parfois les autorités à ne plus subventionner des pré-formations qui investissent plus dans la formation générale ou dans l’accompagnement social, mais qui marquent moins de résultats à court terme au niveau de l’emploi. De même on a vu condamner des projets destinés aux jeunes parce qu’ils étaient axés sur l’artisanat plutôt que sur des qualifications fort demandées dans des industries croissantes, alors que l’épanouissement des jeunes était peut-être mieux servi par l’activité artisanale… Il me semble donc très important d’axer toute l’évaluation sur les effets à long terme des mesures étudiées : une entreprise certes plus coûteuse et plus hasardeuse.

La recherche-évaluation telle qu’elle est traitée ici, est très éloignée de l’image que l’on se fait habituellement de la recherche scientifique et qui correspond plutôt au segment de la recherche fondamentale en sciences exactes : notre recherche n’est pas gratuite, pas purement descriptive, toujours normative, toujours « appliquée » dans le sens d’orientée vers la transformation de la société. Elle se veut scientifique parce qu’indépendante, critique et fondée sur les méthodes et paradigmes des sciences sociales actuelles. Mais son caractère normatif implique toujours des jugements de valeur qui ne peuvent en aucun cas être qualifiés d’ « objectifs » ou neutres. Qui détermine finalement les objectifs d’une politique, que l’on traduit dans ce contexte en critères d’évaluation ? Il n’est pas désirable que ce soit uniquement le commanditaire, qui a tendance à suivre une logique budgétaire et à court terme, ni uniquement le chercheur, qui est comme chacun enfermé dans ses propres préjugés ; un dialogue intense entre ceux-ci et les familles en grande pauvreté ne peut que jouer dans l’intérêt de chacun.

1 Institut Supérieur du Travail.
2 Le revenu cadastral est le revenu imputé à l’habitation d’une famille, en fonction de la taille de cette habitation.
1 Institut Supérieur du Travail.
2 Le revenu cadastral est le revenu imputé à l’habitation d’une famille, en fonction de la taille de cette habitation.

Ides Nicaise

Ides Nicaise, né en 1955, marié, père de quatre enfants, a fait des études d’économie. Chercheur au Hoger Institut voor de Arbeid (HIVA) de la Katholieke Universiteit Leuven, il y a la responsabilité du secteur « Enseignement, éducation des adultes et pauvreté. » Depuis 1976, avec son épouse qui est assistante sociale, il est allié du Mouvement ATD Quart Monde.

Articles du même auteur

CC BY-NC-ND