Quelle place pour les journaux dans l’évaluation scientifique ?

La place et les modalités de l’évaluation scientifique évoluent, d’où des débats fréquents et parfois animés entre les chercheurs. Certains points font presque l’objet d’un consensus au sein de la communauté mathématique, par exemple la méfiance vis-à-vis de l’utilisation abusive des indicateurs quantitatifs et surtout de leur utilisation pour l’évaluation individuelle des chercheurs – voir par exemple ce billet ou le rapport récent écrit pour l’Union Mathématique Internationale.

Mais une question importante subsiste : quel rôles doivent jouer les journaux dans les évaluations ? Plus généralement, comment devraient fonctionner les comités chargés des évaluations ? Deux images opposées (et caricaturales) sont courantes. La mauvaise : un groupe de soi-disant experts incompétents sur le fond se contente d’utiliser les listes de publications pour en tirer des indices (nombre de publications, de citations) sans réel rapport avec l’apport des scientifiques évalués. La bonne : de sages experts lisent soigneusement l’ensemble des dossiers scientifiques qu’ils évaluent, comprennent l’enjeu de chaque énoncé et la difficulté de chaque preuve (qu’ils vérifient), puis en tirent une évaluation absolument objective.

La réalité est bien sûr plus complexe. Les membres des comités d’évaluation sont humains : leur temps est limité, comme le spectre de leurs compétences mathématiques. Il peut même leur arriver d’avantager, consciemment ou non, leurs amis ou les collègues dont ils sont proches. La manière dont ils sont choisis (élus ou nommés) n’assure pas qu’ils soient toujours parmi les mieux à même de comprendre et d’évaluer des travaux mathématiques très divers.

Parallèlement, l’essentiel du travail d’évaluation fait par les mathématiciens consiste à <lexique|mot=referer> des articles soumis à des journaux scientifiques. C’est un travail considérable : referer un bon article peut prendre des dizaines d’heures, parfois plus. Il est généralement fait — quand les éditeurs font bien leur travail — par des spécialistes parfaitement compétents. Une liste de publications contient donc une information importante : chaque ligne représente en principe un travail considérable d’éditeurs et des referees qui ont décidé d’accepter ou de rejeter un article, et des publications dans des journaux sélectifs sont une indication forte d’une activité reconnue par les meilleurs spécialistes d’un domaine. Sans aller jusqu’à utiliser le h-indice, on peut penser que le travail des commissions d’évaluation peut s’appuyer fortement sur les listes de publications, quitte à corriger l’impression qu’elles donnent, en particulier dans des cas atypiques (par exemple certains scientifiques dont la politique de publication est trop discrète au vu de leurs résultats).

Ce point de vue a aussi l’avantage d’être moins local (les referees sont internationaux) et moins sensible aux risques de favoritisme, ou du moins d’y être sensible différemment. Il risque de déplaire à certains experts des comités d’évaluation : ils tendent souvent (comme beaucoup d’entre nous) à surestimer leur compétence et la qualité de leurs analyses, et certains n’aiment pas l’idée de déléguer leur pouvoir à des referees anonymes. Mais la question de l’évaluation est importante, y compris en pratique, et un débat de fond sur les pratiques à suivre serait le bienvenu.