Le 6 mai 2018

L’actualité n’est pas faite que d’événements. Parfois, la parution de rapports publics en donne le ton. Sur un sujet difficile et faussement consensuel, l’évaluation des politiques publiques, deux rapports sont parus récemment : en mars, le rapport rédigé par le Comité d’évaluation et de contrôle des politiques publiques de l’Assemblée nationale (CEC), et, en décembre dernier, le rapport de la Cour des comptes sur l’évaluation à l’Education nationale[1]. L’un et l’autre portent une vision réductrice inquiétante de l’évaluation des politiques publiques : or, il faudrait développer celle-ci, mais en sauvegardant son ambition et son indépendance.

Rappelons, même si les définitions ne sont pas toujours très éclairantes, que, selon la définition de la Charte de la Société pour l’évaluation, celle-ci « vise à produire des connaissances sur les actions publiques, notamment quant à leurs effets, dans le double but de permettre aux citoyens d’en apprécier la valeur et d’aider les décideurs à en améliorer la pertinence, l’efficacité, l’efficience, la cohérence et les impacts ». Cette définition large est nettement plus satisfaisante que la définition, plus fréquemment citée, qui figurait dans le vieux décret, aujourd’hui abrogé, du 18 novembre 1998, selon laquelle l’évaluation des politiques publiques a pour objet « d’apprécier l’efficacité d’une politique en comparant ses résultats aux objectifs assignés et aux moyens mis en œuvre », définition beaucoup trop proche du simple contrôle de gestion avec lequel, il est vrai, l’évaluation est couramment confondue.

Quel rôle du Parlement dans l’évaluation des politiques publiques ?

Depuis la révision constitutionnelle de 2008, l’évaluation des politiques publiques est confiée au Parlement assisté de la Cour des comptes (articles 24 et 47-2 de la Constitution). L’Assemblée nationale a alors créé en son sein le CEC (Comité d’évaluation et de contrôle) censé porter cette mission. Certes, la mention du texte constitutionnel n’épuise pas le sujet puisque bien d’autres acteurs interviennent, organismes placés auprès du Premier ministre (France-Stratégie), Inspections générales et même directions d’administration centrale (telles la DEPP, direction de l’évaluation, de la prospective et de la performance au ministère de l’Education nationale, ou, pour les ministères sociaux, la DREES, direction de la recherche, des études, de l’évaluation et des statistiques). Il est loisible également de considérer que le Conseil d’Etat, en produisant annuellement un rapport public thématique, se comporte en évaluateur de l’action publique. De plus, le rôle de la Cour des comptes en ce domaine dépasse le simple appui au Parlement puisque la plupart de ses rapports sont publiés « proprio motu », sans commande du Parlement.  Pour autant, le Parlement est le seul en charge institutionnellement de cette mission, avec la Cour des comptes comme prestataire.

Le bilan de la réforme de 2008

Quel bilan le Comité d’évaluation et de contrôle (CEC) de l’Assemblée nationale en charge de cette mission fait-il de son action en ce domaine ? Le rapport qu’il publie le 15 mars 2018 montre qu’il n’en est pas satisfait. Déjà, en 2017, une note du Laboratoire interdisciplinaire d’évaluation des politiques publiques de Sciences-po Paris (LIEPP), tirant le bilan des conséquences de la réforme de 2008 sur le Parlement, mettait l’évaluation au rang « des déceptions, voire des ratés » : le CEC y consacre moins d’une dizaine d’heures par an. Le CEC d’aujourd’hui partage ce diagnostic : le temps parlementaire est mangé par un travail législatif trop pointilliste et chronophage, les rapports d’évaluation produits, trop peu nombreux, ont un faible écho, le suivi des préconisations n’est pas organisé. Le Parlement remplit donc mal une de ses missions essentielles. Le CEC est sans nul doute légitime à établir ce constat, légitime aussi à chercher à redresser la situation, à souhaiter que moins de temps soit consacré à la préparation de loi et davantage à l’évaluation des mesures prises.

L’objectif du CEC : renforcer le contrôle parlementaire plutôt que l’évaluation des politiques publiques

Là où le rapport dérape, c’est quand il met sous l’étiquette « évaluation des politiques publiques » des objectifs qui relèvent davantage du contrôle, au demeurant très nécessaire, du Parlement sur l’exécutif. Les députés veulent en effet avoir auprès d’eux un organisme qui les aide à vérifier les données fournies par les ministères et leur rende compte directement de la bonne application des lois et des résultats obtenus. Ils prennent comme référence les institutions placées auprès du Congrès américain et du Parlement britannique : aux Etats-Unis, le « Government Accountability Office » (GAO) réalise essentiellement des « évaluations » rétrospectives portant sur le chiffrage et l’adéquation des programmes budgétaires aux objectifs qui leur ont été donnés. En Angleterre, le National Audit Office vérifie la régularité des comptes publics et procède à des contrôles de l’efficience des dépenses publiques. Les députés français souhaitent avoir auprès d’eux une institution de ce type, qu’ils appellent « Agence d’évaluation », sans doute pas à très bon escient.

La référence aux organismes « d’accountability » étrangers (les instances qui « rendent des comptes ») est courante lorsque l’on parle d’évaluation. Pourtant, un organisme comme le Government Accountability Office américain, qui traque les doublons, les gaspillages, la mauvaise évaluation des coûts et remplit un rôle utile, ne relève pas de l’évaluation, sauf à avoir de cette notion une conception trop large. La véritable évaluation est plus ambitieuse : elle ne fait pas que mesurer les résultats, elle pose des questions, plus en amont, sur les choix politiques et sur leur pertinence, elle valide ou réoriente l’action publique. Or, même lorsque le rapport du CEC évoque la réalisation d’« études d’impact » des lois votées, il en attend davantage une mesure des résultats obtenus qu’un débat sur la qualité des choix politiques effectués. C’est pourtant ce que l’évaluation peut leur offrir, à condition de laisser carte blanche aux évaluateurs pour traiter l’opportunité et la cohérence des politiques, au-delà d’une bonne photographie des résultats obtenus. Sinon, il s’agit de contrôle de gestion.

 Un pilotage centralisé de l’évaluation des politiques publiques ?

Le rapport du Comité d’évaluation et de contrôle de l’Assemblée nationale va plus loin : il considère que le paysage de l’évaluation des politiques publiques est désordonné et incomplet : il a raison. L’évaluation en France est foisonnante mais d’inégale qualité et elle privilégie certains thèmes (Education, protection sociale et santé, formation professionnelle et insertion) tandis que d’autres (politiques policières, immigration, justice) sont plus négligés. L’évaluation est surtout aléatoire, au gré du programme de la Cour des comptes ou des think-tank intéressés.  La solution serait que la loi demande aux départements ministériels qui refusent l’évaluation de la pratiquer en faisant appel à des prestataires indépendants : le ministère de l’Intérieur serait le premier concerné, qui n’a jamais mené une étude sérieuse sur les conséquences sur la délinquance des réformes de l’organisation policière. Le CEC propose une solution différente : il entend créer un Haut conseil de l’évaluation des politiques publiques, regroupant commanditaires (gouvernement et Parlement) et évaluateurs (Cour des comptes, inspections générales, universitaires), chargé de diffuser les bonnes pratiques et de définir les besoins d’évaluation. Il n’est pas certain qu’une telle centralisation sous l’égide de l’Etat dynamise le recours à l’évaluation. Il faut plutôt s’interroger sur la manière d’inciter l’Etat à lancer des évaluations sur certaines de ses politiques et à prendre en compte les résultats.

 L’évaluation à l’Education nationale : attention aux visées réductrices

La Cour des comptes a dressé, en décembre 2017, un tableau à charge de l’évaluation dans le domaine de l’Education : elle préconise des changements radicaux. Là aussi, la démarche soulève une appréciation mitigée : la Cour met le doigt sur des carences mais les solutions proposées sont inquiétantes.

 Le contenu du rapport

La Cour considère que l’évaluation à l’Education nationale est insuffisamment ordonnée et incomplète, entre les inspections générales qui dressent des évaluations fouillées mais ponctuelles, l’administration centrale qui évalue les acquis des élèves mais à intervalles espacés et un Conseil national d’évaluation du système scolaire (CNESCO) extérieur à l’administration scolaire qui choisit les évaluations thématiques qu’il réalise. La Cour en conclut, à juste titre sans doute, qu’il est difficile d’établir une synthèse sur l’évaluation du système éducatif, même si l’on dispose d’un certain nombre de matériaux, alors que le pays en a besoin. Elle propose donc de généraliser des tests standardisés dématérialisés pour évaluer les acquis des élèves sur le socle commun de connaissances, de compétences et de culture, en début et en fin des 3 cycles d’enseignement, puis à l’entrée et à la sortie de chaque année. Ces tests permettraient en outre d’évaluer les enseignants et les établissements et d’en tenir compte dans les carrières et l’attribution des moyens.

La Cour propose alors de remplacer le CNESCO, dont les évaluations « extérieures à l’Institution » ne l’intéressent pas, par une instance en charge de veiller à la qualité et à la tenue de ces tests des élèves et de publier un rapport sur la performance du système scolaire. Cette nouvelle instance serait « indépendante » mais articulée avec le ministère.

Mesure et évaluation, notions à distinguer.

Le rapport de la Cour des comptes est, dans son simplisme, ahurissant. Non pas que le diagnostic sur le caractère disparate et désordonné de l’évaluation au ministère de l’Education nationale soit inexact, ni le constat selon lequel des évaluations multiformes et donc confuses ne contribuent pas efficacement à faire évoluer le système. Elle a raison de demander des évaluations plus régulières et plus complètes des acquis des élèves. Cependant, la Cour ne propose rien de plus : l’on mesurera les acquis des élèves, c’est tout, et l’on suppose implicitement qu’ils dépendent entièrement de la qualité des enseignants. Cela revient à nier toutes les causes qui peuvent interagir avec de telles évaluations : nature des programmes, méthodes pédagogiques, taille des classes, concentration des enfants en difficulté, inexpérience des enseignants…

Certains commentateurs soulignent que l’analyse de la Cour se réfère à une loi américaine de 2002 « No child left behind » (pas d’enfant laissé sur le côté) qui, de fait, reposait sur une politique de responsabilisation des enseignants, en mesurant systématiquement les résultats des élèves par rapport aux performances attendues mais en prévoyant aussi des attributions de moyens. Selon plusieurs bilans[2], la loi a permis des avancées : elle a permis de mieux mesurer les écarts entre établissements et incité ceux-ci à expérimenter de nouvelles méthodes pour améliorer les résultats. Mais la loi a largement échoué aussi : les moyens donnés pour compenser les écarts entre établissements n’ont pas été suffisants et seule une part de la performance des élèves peut être reliée à un « effet enseignant ». Les réformes intervenues sous l’administration Obama ont tenté d’améliorer la loi, en substituant la notion de progrès à celle de performance en valeur absolue, en améliorant les compétences des enseignants, en définissant de nouvelles stratégies pour les élèves les plus en difficulté. La Cour ne rentre pas dans ces considérations : la seule mesure des acquis et les conséquences qui en résulteront pour les enseignants et les établissements seront, selon elle, un stimulus suffisant. Cette vision simpliste de l’évaluation (et de l’action des services publics, dont on doit exiger l’efficacité sans s’interroger sur leurs difficultés) est préoccupante. Elle témoigne d’une vraie hostilité à l’égard des fonctionnaires, considérant qu’il suffirait de leur imposer une meilleure discipline pour les rendre efficaces.

Conclusion

L’évaluation des politiques publiques doit être développée, impérativement : le Parlement doit commander davantage d’études  et infléchir davantage, sur ce fondement, les décisions de l’exécutif. L’évaluation dans les services, y compris à l’Education nationale, doit être plus méthodique, mieux ordonnée et surtout plus opérationnelle. Cependant, l’évaluation n’est pas un outil de contrôle de gestion ni de contrôle tout court. C’est une étude et un questionnement pour comprendre et dégager les ressorts de la réussite d’une politique. La Cour des comptes semble aujourd’hui rejoindre le camp de ceux qui prônent une évaluation par les seuls résultats. La démarche n’est rationnelle qu’en apparence : si elle se traduit par la seule imposition de contraintes, sans réflexion sur les conditions à réunir pour atteindre les objectifs fixés, elle nuira à l’efficacité de l’action publique.

Pergama

[1] Rapport d’information sur l’évaluation des dispositifs d’évaluation des politiques publiques, CEC, Assemblée nationale, mars 2018 et L’Education nationale : organiser son évaluation pour améliorer sa performance, Cour des comptes, décembre 2017

[2] Voir Bilan et devenir de la loi NCLB aux Etats-Unis, Revue française de pédagogie, 2012