Evaluation

Evaluation et indicateurs

Piste verte Le 17 février 2009  - Ecrit par  François Sauvageot Voir les commentaires (1)

À propos de l’utilisation d’indicateurs dans l’évaluation.

Le mot évaluation peut être utilisé dans différents contextes. On parle d’évaluation d’une production (d’un élève, d’un chercheur), d’évaluation de la recherche, d’évaluation pédagogique (d’une méthode, d’un enseignant), d’évaluation de la performance ou encore d’évaluation de l’évaluation. Certaines évaluations utilisent des indicateurs. Il s’agit de quantités fabriquées à partir de données collectées, le plus souvent automatiquement, et censées refléter ou mesurer tout ou partie de ce que l’on veut évaluer.

Quelques précautions à prendre

L’utilisation de ces indicateurs doit être limitée à leur champ d’application. Utiliser une évaluation dans un autre cadre peut amener des perversions dans l’évaluation.

Par exemple une évaluation pédagogique servant à un enseignant pour définir des choix pédagogiques, c’est-à-dire à mener une pédagogie différenciée, ne doit pas être utilisée ni pour évaluer l’enseignant (que ce soit afin d’évaluer ses performances ou de calculer sa rémunération), ni pour évaluer son établissement (que ce soit pour un classement de nature sociale - ZEP, ambition réussite - ou pour un tableau d’honneur - classement de la presse ou des institutions).

En d’autres termes, il faut veiller à ne pas utiliser l’évaluation comme l’ivrogne les lampadaires : pour s’appuyer plutôt que pour s’éclairer.

Indicateurs de la recherche

Ces indicateurs ont pour objectif de donner un reflet de l’activité de recherche d’un individu tenant compte à la fois du volume de la production et de sa visibilité. Ils reposent sur l’extraction automatique de données par des moteurs de recherche permettant de dresser des listes d’articles par auteur et le nombre de fois qu’un article a été cité par des pairs.

Le mot article est le plus souvent à prendre au sens d’article de recherche publié dans une revue appartenant à une liste restreinte de revues spécialisées. Une citation par des pairs est, quant à elle, une référence à un article donné et se trouvant dans un des autres articles de la liste précédente. La question de la faisabilité et de la fiabilité de ces listes (listes d’articles, listes de citations, identification d’un-e auteur-e) est réelle et est étudiée notamment par des informaticien-ne-s spécialistes de bases de données. On pourra consulter les mises en garde et analyses faites par les mathématicien-ne-s et les informaticien-ne-s.

On trouve de nombreux indicateurs de la recherche, chacun mesurant à sa façon un reflet d’un certain type d’activité de recherche. Ils sont notamment utilisés par les organismes finançant la recherche comme outil d’évaluation. Mais ils sont également repris périodiquement par la presse (notamment la presse économique) ou au sein de classements internationaux (celui de l’université de Shanghai). Même si la plupart du temps on emploie la dénomination « indicateur de la recherche », de nombreux indicateurs ne s’intéressent pas à la recherche en termes de qualité, mais plutôt en termes d’activité (quantité de production) et de visibilité (citations par des pairs).

Le choix d’un mode de classement est un vrai choix puisqu’il n’y a de façon unique de procéder et qu’aucune ne s’impose comme meilleure qu’une autre. On pourra se reporter à l’article Classement du café. En tout cas voici quelques indicateurs fréquemment utilisés dans la presse pour comparer l’activité et la visibilité d’un chercheur individuel :

  • Nombre total d’articles publiés
  • Nombre total de citations obtenues par des pairs
  • Nombre d’articles ayant été cités au moins un certain nombre de fois
  • Nombre de citations cumulées des meilleurs articles
  • Indicateur h de Hirsch
  • Indicateur g de Egghe

Certains utilisent ces indicateurs pour mesurer les institutions de recherche. Il s’agit là d’un détournement puisque ces indicateurs ont été créés pour mesurer des chercheurs individuels.

Indicateur h de Hirsch

L’indicateur h est une sorte de « centre géométrique » du nombre de citations obtenues par chacun des articles d’un auteur.

On l’obtient en classant les articles par nombre de citations décroissant et en traçant la courbe du nombre de citations en fonction du numéro d’ordre de l’article. Par exemple : si on a trois articles cités respectivement 17 fois, 8 fois et 23 fois, on obtient le classement (23, 17, 8) et on trace un courbe en joignant les points (1,23), (2,17) et (3,8). Au lieu de relier les points, on peut aussi tracer des rectangles (de largeur 1).

L’indicateur h est l’abscisse (ou l’ordonnée) du point d’intersection de cette courbe avec la première bissectrice, c’est-à-dire la droite dont une équation est : y = x.

h-index

Cet indicateur s’appuie uniquement sur la répartition du nombre de citations pour l’ensemble des articles publiés par l’auteur.

Mais pour le faire augmenter, il ne suffit pas que les articles les plus cités le soient de plus en plus, il faut que de nouveaux articles soient cités de plus en plus. Son augmentation nécessite donc que le chercheur continue à produire de nouveaux articles ou en fasse connaître d’anciens dont la visibilité n’était pas bonne.

Ajoutons avec perfidie, qu’il existe des stratégies simples (que nous ne recommandons pas de mettre en œuvre) pour augmenter son h :

  • dans chacun de ses nouveaux articles, citer toute sa production précédente : le nombre de citations de chaque article augmente d’une unité, donc h aussi !
  • découper son travail en multiples articles simultanés qui se citent mutuellement !
  • ne pas hésiter à citer (abusivement) ses amis qui, en remerciement, vous renverront (abusivement) l’ascenseur !

Cet indicateur a été proposé en 2005 par le physicien Jorge Hirsch dans un article paru aux comptes-rendus de l’académie des sciences américaine (en préconisant de restreindre son utilisation à la recherche en sciences physiques). Jorge Hirsch est professeur à l’université de San Diego (Californie) en physique de la matière condensée et travaille notamment sur les supraconducteurs.

Indicateur g de Egghe

L’indicateur g procède de la même idée que l’indicateur h, mais en opérant sur la courbe précédente une moyenne, ayant pour effet de « remonter » la courbe afin de donner plus de poids aux articles les plus cités.

Concrètement on remonte la hauteur du point d’abscisse x en prenant la moyenne (arithmétique) des hauteurs de tous les points qui le précède. Avec l’exemple précédent, nous avions obtenu (23, 17, 8). On laisse 23 puisque c’est le premier article (en termes de citations). On remplace 17 par la moyenne des deux premiers articles : comme (23+17)/2=20, on remplace donc 17 par 20. On remplace 8 par la moyenne des trois premiers articles, donc par (23+17+8)/3, c’est-à-dire 16. Ainsi on remplace (23, 17, 8) par (23, 20, 16), puis on procède comme pour h.

Dans cette illustration on a placé le dessin précédent et on a superposé l’effet de la moyennisation.

g-index

Une autre interprétation peut se faire de façon plus géométrique.

Cet indicateur donne beaucoup plus de poids aux articles les plus cités. Pour le faire croître, il faut donc soit procéder comme pour l’indicateur h, soit augmenter la visibilité des articles déjà les plus visibles.

L’indicateur g est toujours plus grand que l’indicateur h, puisqu’il est obtenu en remontant la courbe servant à calculer ce dernier. À titre d’exemple si un chercheur a produit un article très cité, par exemple 1 000 fois, et une quarantaine d’articles jamais cités, son indicateur h est égal à 1 tandis que son indicateur g est égal à 31. Cet indicateur a été proposé en 2006 par le mathématicien Leo Egghe dans un journal spécialisé en scientométrie.

PDF - 99.6 ko

Leo Egghe est professeur à l’université d’Anvers et enseigne les méthodes quantitatives dans le domaine de l’information.

Ce document reprend l’étude des indicateurs, avec des exemples, et des interprétations géométriques.

Voir aussi

Article édité par François Sauvageot

Partager cet article

Pour citer cet article :

François Sauvageot — «Evaluation» — Images des Mathématiques, CNRS, 2009

Commentaire sur l'article

  • Évaluation : quelques lectures supplementaires

    le 17 mars 2009 à 15:06, par Jean-Yves Briend

    Un article interessant permettant entre autre d’avoir les
    definitions, et surtout un avertissement sur l’utilisation
    abusive qui peut etre faite des indicateurs. Pour une
    lecture de sociologues et d’historiens sur la question de
    l’evaluation dans l’enseignement superieur et la recherche,
    je conseille vivement la lecture du numero 55-4bis de
    la Revue d’Histoire Moderne et Contemporaine, paru en 2008.
    Le premier article est d’ailleurs ecrit par un collegue
    mathematicien, Jean-Yves Merindol.

    Répondre à ce message

Laisser un commentaire

Forum sur abonnement

Pour participer à ce forum, vous devez vous enregistrer au préalable. Merci d’indiquer ci-dessous l’identifiant personnel qui vous a été fourni. Si vous n’êtes pas enregistré, vous devez vous inscrire.

Connexions’inscriremot de passe oublié ?

Suivre IDM