Les indicateurs sont à la mode. Toutes les activités humaines sont maintenant mesurées et quantifiées. Comment “évaluer” le travail des mathématiciens ?
Depuis longtemps, l’activité scientifique en général, et celle des chercheurs en particulier, est évaluée de manière régulière. Par exemple, les chercheurs en mathématiques employés par le CNRS sont évalués par le Comité National de la Recherche Scientifique. Concrètement, une vingtaine de mathématiciens, nommés ou élus pour quatre ans, évaluent le travail de leurs collègues chercheurs.
Devant l’explosion quantitative des publications scientifiques, la tentation est grande de mesurer la qualité d’un laboratoire, ou même d’un chercheur, par des indices calculés de manière automatique. Beaucoup de disciplines scientifiques font un grand usage de ces indices bibliométriques mais la majorité des mathématiciens y sont réticents. Parmi les raisons de cette réticence, on peut évoquer le fait que la communauté mathématique reste de taille raisonnable, même si elle a beaucoup augmenté : le nombre de chercheurs en mathématiques en France est de l’ordre de 4000, dont environ 400 au CNRS. Il reste possible de se comprendre et l’évaluation par des pairs qui connaissent bien les problèmes reste une bonne solution. Une seconde raison est que la « constante de temps » est bien plus grande en mathématiques que dans les autres disciplines : les concepts importants mettent souvent des décennies, et parfois plus, avant d’être reconnus comme tels, si bien qu’un simple décompte des citations par exemple n’est pas un critère approprié.
La discussion de ces questions nécessiterait de longs développements et fera peut-être l’objet de débats dans ce site, mais nous allons nous contenter ici d’un exemple. L’un des indices les plus utilisés pour évaluer la qualité d’une revue scientifique est son « Facteur d’Impact », fondé sur le nombre de citations des articles publiés dans cette revue. Nous allons essayer d’expliquer pourquoi cet indice particulier n’est pas adapté pour les mathématiques.
L’Impact Factor (IF) des revues scientifiques est calculé chaque année par l’Institute of Scientific Information (ISI).
L’IF d’une revue, pour une année donnée N, est le quotient A/B où A est le nombre d’articles publiés pendant l’année N (dans une revue quelconque) qui citent un article de la revue en question publié en N-1 ou N-2, et B est le nombre d’articles de la revue publiés en N-1 ou N-2.
Exemples de quelques revues mathématiques (en 2007) :
| Journal | Impact factor |
|---|---|
| Acta Mathematica | 2,560 |
| Annales de l’Institut Fourier | 0,722 |
| Annals of Mathematics | 2,739 |
| Commentarii Mathematici Helvetici | 0,875 |
| Inventiones Mathematicae | 1,664 |
Ces valeurs (pour des revues mathématiques incontestables) sont très différentes de celles atteintes dans d’autres disciplines. Par exemple (pour 2007) :
| Journal | Impact factor |
|---|---|
| Annu Rev. Immunology | 47,981 |
| Nature | 28,751 |
| Science | 26,372 |
| Cell | 29,887 |
Non, bien sûr ☺
Il va de soi que la comparaison des IF entre disciplines différentes n’a pas grand sens comme le montrent les exemples ci-dessus. Elle peut avoir un sens à l’intérieur d’une même discipline, mais le cas des mathématiques demande une attention particulière. Il faut noter tout d’abord que certaines revues mathématiques de tout premier plan sont absentes de la base de données de l’ISI. Mais surtout, l’intervalle de temps de deux ans n’est pas adapté aux mathématiques.
Pour mesurer l’impact d’une revue mathématique, il faut prendre en compte les citations sur une période beaucoup plus longue.
La base de données de Mathematical Reviews de l’American Mathematical Society est un outil plus adapté pour mesurer l’impact des revues mathématiques.
Math Reviews (MR) a indexé (presque) tous les articles mathématiques publiés depuis très longtemps. Par ailleurs, MR a indexé toutes les citations contenues dans les articles publiés depuis 1999 dans une sélection d’environ 300 journaux mathématiques.
La base de donnée contient à ce jour 2 385 808 articles !
Voici l’évolution du nombre de publications mathématiques depuis le début du vingtième siècle :
Et voici un graphique qui montre les dates des publications des articles cités en 2007.
Ce graphique surprendra plus d’un non-mathématicien : dans la plupart des autres sciences, les articles sont « démodés » extrêmement rapidement et il n’y a plus de raisons de les citer après quatre ou cinq ans ! Comme on le voit, ce n’est pas du tout le cas en mathématiques.
Clairement le calcul de l’IF pour l’année 2007, qui ne prend en compte que les citations d’articles publiés en 2006 et 2005, n’est pas adapté. Bien des articles sont encore lus, utilisés, et cités plusieurs dizaines d’années après leur publication.
Pour évaluer une revue mathématique, il faut un recul considérable dans le temps.
Les Mathematical Reviews ont défini un indice analogue à IF qui utilise cinq années au lieu de deux… L’idéal serait d’utiliser un temps encore plus long, mais les bases de données de citations ne contiennent pour l’instant que cinq années.
L’indice MCQ (Mathematical Citation Quotient) d’une revue, pour une année donnée N, est le quotient A/B où A est le nombre d’articles publiés (dans la sélection de revues MR) pendant l’année N qui citent un article de la revue en question publié entre N-1 et N-5, et B est le nombre d’articles de la revue publiés entre N-1 et N-5.
Voici quelques chiffres (en 2007) :
| Journal | MCQ |
|---|---|
| Acta Mathematica | 2,260 |
| Annales de l’Institut Fourier | 0,690 |
| Annals of Mathematics | 2,540 |
| Commentarii Mathematici Helvetici | 1,010 |
| Inventiones Mathematicae | 1,870 |
On peut constater que le MCQ range « en gros » les revues considérées dans le même ordre que le facteur d’impact. S’il ne s’agit que d’évaluer l’intérêt d’une revue, ce genre d’indice a peut-être un sens, mais si on franchissait le pas qui consisterait à évaluer un article (ou son auteur !) en se fondant sur l’IF ou le MCQ du journal dans lequel il est publié, on commettrait une lourde erreur.
Les mathématiciens, comme tous les scientifiques, doivent évaluer la qualité de leurs résultats. Ce n’est pas facile et jusqu’à présent, ils font confiance à l’évaluation par leurs pairs, à laquelle ils accordent une très grande importance. Il semble que les indices et les méthodes bibliométriques mises au point pour d’autres disciplines beaucoup plus importantes en nombre de chercheurs, et dont le développement est beaucoup plus rapide, ne sont pas adaptés aux mathématiques.
Récemment, l’Union mondiale des mathématiciens a fait paraître un document sur cette question qui est extrêmement bien documenté et que nous recommandons au lecteur (anglophone).
Cela ne veut pas dire que les mathématiciens ne doivent pas faire confiance aux calculs (ce qui serait un comble pour leur profession !) ; il leur faut réfléchir à la création d’outils adaptés permettant l’évaluation de leurs travaux. Nous avons cité le MCQ, encore primitif, mais on peut en envisager d’autres. Voir par exemple cet article publié dans la Gazette des Mathématiciens qui propose d’autres indices, pas nécessairement convaincants !
La réflexion n’est pas terminée mais espérons tout de même que pendant longtemps encore les mathématiciens seront évalués par d’autres mathématiciens qui lisent leurs articles avant de les noter !
