Le mot évaluation peut être utilisé dans différents contextes. On parle d’évaluation d’une production (d’un élève, d’un chercheur), d’évaluation de la recherche, d’évaluation pédagogique (d’une méthode, d’un enseignant), d’évaluation de la performance ou encore d’évaluation de l’évaluation. Certaines évaluations utilisent des indicateurs. Il s’agit de quantités fabriquées à partir de données collectées, le plus souvent automatiquement, et censées refléter ou mesurer tout ou partie de ce que l’on veut évaluer.

Quelques précautions à prendre

L’utilisation de ces indicateurs doit être limitée à leur champ d’application. Utiliser une évaluation dans un autre cadre peut amener des perversions dans l’évaluation.

Par exemple une évaluation pédagogique servant à un enseignant pour définir des choix pédagogiques, c’est-à-dire à mener une pédagogie différenciée, ne doit pas être utilisée ni pour évaluer l’enseignant (que ce soit afin d’évaluer ses performances ou de calculer sa rémunération), ni pour évaluer son établissement (que ce soit pour un classement de nature sociale - ZEP, ambition réussite - ou pour un tableau d’honneur - classement de la presse ou des institutions).

En d’autres termes, il faut veiller à ne pas utiliser l’évaluation comme l’ivrogne les lampadaires : pour s’appuyer plutôt que pour s’éclairer.

Indicateurs de la recherche

Ces indicateurs ont pour objectif de donner un reflet de l’activité de recherche d’un individu tenant compte à la fois du volume de la production et de sa visibilité. Ils reposent sur l’extraction automatique de données par des moteurs de recherche permettant de dresser des listes d’articles par auteur et le nombre de fois qu’un article a été cité par des pairs.

Le mot article est le plus souvent à prendre au sens d’article de recherche publié dans une revue appartenant à une liste restreinte de revues spécialisées. Une citation par des pairs est, quant à elle, une référence à un article donné et se trouvant dans un des autres articles de la liste précédente. La question de la faisabilité et de la fiabilité de ces listes (listes d’articles, listes de citations, identification d’un-e auteur-e) est réelle et est étudiée notamment par des informaticien-ne-s spécialistes de bases de données. On pourra consulter les mises en garde et analyses faites par les mathématicien-ne-s et les informaticien-ne-s.

On trouve de nombreux indicateurs de la recherche, chacun mesurant à sa façon un reflet d’un certain type d’activité de recherche. Ils sont notamment utilisés par les organismes finançant la recherche comme outil d’évaluation. Mais ils sont également repris périodiquement par la presse (notamment la presse économique) ou au sein de classements internationaux (celui de l’université de Shanghai). Même si la plupart du temps on emploie la dénomination « indicateur de la recherche », de nombreux indicateurs ne s’intéressent pas à la recherche en termes de qualité, mais plutôt en termes d’activité (quantité de production) et de visibilité (citations par des pairs).

Le choix d’un mode de classement est un vrai choix puisqu’il n’y a de façon unique de procéder et qu’aucune ne s’impose comme meilleure qu’une autre. On pourra se reporter à l’article Classement du café. En tout cas voici quelques indicateurs fréquemment utilisés dans la presse pour comparer l’activité et la visibilité d’un chercheur individuel :

• Nombre total d’articles publiés
• Nombre total de citations obtenues par des pairs
• Nombre d’articles ayant été cités au moins un certain nombre de fois
• Nombre de citations cumulées des meilleurs articles
• Indicateur h de Hirsch
• Indicateur g de Egghe

Certains utilisent ces indicateurs pour mesurer les institutions de recherche. Il s’agit là d’un détournement puisque ces indicateurs ont été créés pour mesurer des chercheurs individuels.

Indicateur h de Hirsch

L’indicateur h est une sorte de « centre géométrique » du nombre de citations obtenues par chacun des articles d’un auteur.

On l’obtient en classant les articles par nombre de citations décroissant et en traçant la courbe du nombre de citations en fonction du numéro d’ordre de l’article. Par exemple : si on a trois articles cités respectivement 17 fois, 8 fois et 23 fois, on obtient le classement (23, 17, 8) et on trace un courbe en joignant les points (1,23), (2,17) et (3,8). Au lieu de relier les points, on peut aussi tracer des rectangles (de largeur 1).

L’indicateur h est l’abscisse (ou l’ordonnée) du point d’intersection de cette courbe avec la première bissectrice, c’est-à-dire la droite dont une équation est : y = x.

Cet indicateur s’appuie uniquement sur la répartition du nombre de citations pour l’ensemble des articles publiés par l’auteur.

Mais pour le faire augmenter, il ne suffit pas que les articles les plus cités le soient de plus en plus, il faut que de nouveaux articles soient cités de plus en plus. Son augmentation nécessite donc que le chercheur continue à produire de nouveaux articles ou en fasse connaître d’anciens dont la visibilité n’était pas bonne.

Ajoutons avec perfidie, qu’il existe des stratégies simples (que nous ne recommandons pas de mettre en œuvre) pour augmenter son h :

• dans chacun de ses nouveaux articles, citer toute sa production précédente : le nombre de citations de chaque article augmente d’une unité, donc h aussi !
• découper son travail en multiples articles simultanés qui se citent mutuellement !
• ne pas hésiter à citer (abusivement) ses amis qui, en remerciement, vous renverront (abusivement) l’ascenseur !

Cet indicateur a été proposé en 2005 par le physicien Jorge Hirsch dans un article paru aux comptes-rendus de l’académie des sciences américaine (en préconisant de restreindre son utilisation à la recherche en sciences physiques). Jorge Hirsch est professeur à l’université de San Diego (Californie) en physique de la matière condensée et travaille notamment sur les supraconducteurs.

Indicateur g de Egghe

L’indicateur g procède de la même idée que l’indicateur h, mais en opérant sur la courbe précédente une moyenne, ayant pour effet de « remonter » la courbe afin de donner plus de poids aux articles les plus cités.

Concrètement on remonte la hauteur du point d’abscisse x en prenant la moyenne (arithmétique) des hauteurs de tous les points qui le précède. Avec l’exemple précédent, nous avions obtenu (23, 17, 8). On laisse 23 puisque c’est le premier article (en termes de citations). On remplace 17 par la moyenne des deux premiers articles : comme (23+17)/2=20, on remplace donc 17 par 20. On remplace 8 par la moyenne des trois premiers articles, donc par (23+17+8)/3, c’est-à-dire 16. Ainsi on remplace (23, 17, 8) par (23, 20, 16), puis on procède comme pour h.

Dans cette illustration on a placé le dessin précédent et on a superposé l’effet de la moyennisation.

Une autre interprétation peut se faire de façon plus géométrique.

Cet indicateur donne beaucoup plus de poids aux articles les plus cités. Pour le faire croître, il faut donc soit procéder comme pour l’indicateur h, soit augmenter la visibilité des articles déjà les plus visibles.

L’indicateur g est toujours plus grand que l’indicateur h, puisqu’il est obtenu en remontant la courbe servant à calculer ce dernier. À titre d’exemple si un chercheur a produit un article très cité, par exemple 1 000 fois, et une quarantaine d’articles jamais cités, son indicateur h est égal à 1 tandis que son indicateur g est égal à 31. Cet indicateur a été proposé en 2006 par le mathématicien Leo Egghe dans un journal spécialisé en scientométrie.

Leo Egghe est professeur à l’université d’Anvers et enseigne les méthodes quantitatives dans le domaine de l’information.

Ce document reprend l’étude des indicateurs, avec des exemples, et des interprétations géométriques.

Voir aussi

• Classement
• Un rapport de l’INRIA sur les indicateurs. Il s’agit de l’Institut National de Recherche en Informatique et en Automatique.
• Une recommandation du Conseil Scientifique du Département Mathématiques, Physique, Planètes et Univers du CNRS.
• Un rapport conjoint de l’IMU, de l’ICIAM et de l’IMS (en anglais). Il s’agit de l’union mathématique internationale (IMU), du conseil international des mathématiques industrielles et appliquées (ICIAM) et l’institut des statistiques mathématiques (IMS).
• Le site d’un groupe de recherche de l’université de Grenade
• Classement de Shanghai
• Jorge Hirsch, An index to quantify an individual’s scientific research output, Proceedings of the National Academy of Science, 15 Novembre 2005, vol. 102, n° 46, pages 16569–16572.
• Leo Egghe, Theory and practise of the g-index, Scientometrics, vol. 69, n° 1 (2006) 131–152.