Pouvez répéter la question ?

En matière de questions de société, les mesures statistiques peuvent éclairer le débat, à condition de ne pas s’en servir comme l’ivrogne se sert d’un lampadaire …

Les outils statistiques peuvent apparaître comme des recettes magiques à qui ne les fréquentent que de loin. On peut alors être tenté de leur poser toute sorte de questions comme un ancien grec à la Pythie. On peut aussi se sentir trahi par elles et traiter tout ce qui vient d’elles peu ou prou comme des balivernes. Ce serait aller un peu vite en besogne et ne pas se rendre compte que la plupart des trahisons viennent justement de personnes peu qualifiées qui ont cru pouvoir jouer les oracles sans en connaître les arcanes.

La première chose est qu’une mesure ne peut être faite que si les questions posées sont celles auxquelles on veut répondre. Ça paraît élémentaire, mais c’est crucial, ainsi que je l’ai évoqué à propos d’évaluation. Deux exemples issus de l’actualité de l’éducation nationale :

• Les évaluations du primaire transférées à la Direction Générale de l’Enseignement Scolaire, avec un résultat catastrophique : ce ne sont ni des évaluations bilan, ni des évaluations diagnostique. ³Avec des questions dont les réponses sont uniquement codées par un 1 indiquant la réussite ou un 0 indiquant l’échec, on est loin d’un diagnostique pédagogique ! Avec des questions portant sur des thèmes non encore abordés (ce qui est normal : en janvier, on n’a pas encore vu tout le contenu du programme de l’année), et surtout avec un questionnaire posé à toutes les écoles, on est loin d’une évaluation bilan. En effet un bilan est un bilan du système scolaire : on le fait sur la base d’un échantillon statistique de classes tirées au sort. D’une part parce que c’est moins couteux, ensuite parce que c’est suffisant pour ce que l’on veut faire. Vouloir faire un bilan pour toutes les écoles dénote une volonté de classer les établissements entre eux, ou plutôt leurs résultats. On n’est donc pas dans le pédagogique … mais surtout c’est en dehors des possibilités de ces évaluations : elles ne peuvent pas servir à cela. Et si l’on voulait faire une chose pareille, il ne faudrait pas espérer trouver plus de trois rangs … Les classements du premier jusqu’au dernier, comme les classements des lycées publiés par la presse, sont des aberrations. Les indicateurs plus fins mis au point par les services statistiques du Ministère de l’éducation nationale se basent sur la population de chaque établissement et de la réussite attendue en fonction de cette population. Et surtout ils étudient des questions comme : quand on rentre en seconde dans ce lycée, y passe-t-on le bac ou est-on orienté de force en cas de résultats insuffisants ? quel est le taux de redoublement ? de changement d’orientations ? etc. De tels indicateurs ne classent pas sur une échelle simple, ils donnent une vue complexe … car la situation est complexe ! Consulter par exemple le témoignage de Jacqueline Levasseur et Jean-Claude Émin, ou celui d’enseignants et de formateurs.
• Interdiction faite aux statisticiens de l’éducation nationale de demander aux élèves la profession de leurs parents dans les enquêtes. Une des raisons de cela est la peur que ce soit utilisé contre les parents d’élèves, mais ce faisant on ampute toutes les recherches sur l’éducation d’un outil indispensable pour mesurer l’évolution des inégalités sociales. Consulter la prise de position de Christian Baudelot.

La seconde chose est qu’il faut tenir compte des mesures pour décider de quoi changer. Il y a quelque temps, par exemple, le ministre de l’éducation nationale a rompu un embargo sur des études internationales pour soutenir ses décisions de réformes. Pourtant l’étude montre que notre école primaire connaît certaines difficultés dans tel ou tel domaine, mais a de nombreux points forts notamment dans tel ou tel domaine. Or les décisions prises visent à accentuer les heures de cours dans les domaines forts et les réduire dans les domaines faibles !

Plus généralement une évaluation ou un indicateur ne devrait être utilisé que pour ce quoi il a été créé. Un indicateur de la productivité et de la visibilité de la recherche n’est pas un indicateur de la qualité de la recherche. Et ce n’est pas non plus un outil pour calculer la rémunération des chercheur-e-s !

Pour rester dans l’éducation nationale, voici un autre détournement d’indicateur : pour classer un collège Ambition réussite, avec des fonds et des ressources à la clef, le ministère utilise trois critères : le taux de redoublement moyen des enfants, le nombre d’écoles primaires classées en Zone d’Éducation Prioritaire qui alimentent le collège et enfin les résultats aux évaluations diagnostiques de 6ème. ⁴Pour plus de détails sur les questions de l’éducation prioritaire, consulter le site du ministère de l’éducation nationale.

C’est un réel problème : une évaluation diagnostique se base sur une relation de confiance entre l’enseignant-e et l’élève. Elle doit permettre de remédier aux problèmes détectés. C’est un outil pédagogique, et uniquement cela. Ce n’est pas un outil pour classer qui que ce soit, ou quel qu’établissement que ce soit. Et l’utiliser pour attribuer, de façon très substantielle, des fonds et des ressources, c’est introduire la tentation de le fausser. Un collège ayant des difficultés (retard moyen important de ses élèves, et nombreuses Zones d’Éducation Prioritaires alentours) pourra être tenté de faire tout pour que les évaluations soient ratées. Ce n’est pas si dur à faire : ne pas aider les élèves, ne pas les mettre en confiance, ne pas leur donner de conditions matérielles agréables, mesurer le temps à la seconde près etc. tout en restant dans un cadre strictement légal.

Un bon système est un système où il n’y a aucun intérêt à tricher, ou tout indicateur est utilisé pour traiter la question à laquelle il répond … et ou un outil pédagogique permet de donner accès au savoir à tout le monde et non pas de mesurer des performances ou de donner des fonds. D’autres outils doivent être mis en place pour ces questions.