Quelle place pour les journaux dans l’évaluation scientifique ?

Le 6 janvier 2009  - Ecrit par  Jean-Marc Schlenker Voir les commentaires (3)

La place et les modalités de l’évaluation scientifique évoluent, d’où des débats fréquents et parfois animés entre les chercheurs. Certains points font presque l’objet d’un consensus au sein de la communauté mathématique, par exemple la méfiance vis-à-vis de l’utilisation abusive des indicateurs quantitatifs et surtout de leur utilisation pour l’évaluation individuelle des chercheurs - voir par exemple ce billet ou le rapport récent écrit pour l’Union Mathématique Internationale.

Mais une question importante subsiste : quel rôles doivent jouer les journaux dans les évaluations ? Plus généralement, comment devraient fonctionner les comités chargés des évaluations ? Deux images opposées (et caricaturales) sont courantes. La mauvaise : un groupe de soi-disant experts incompétents sur le fond se contente d’utiliser les listes de publications pour en tirer des indices (nombre de publications, de citations) sans réel rapport avec l’apport des scientifiques évalués. La bonne : de sages experts lisent soigneusement l’ensemble des dossiers scientifiques qu’ils évaluent, comprennent l’enjeu de chaque énoncé et la difficulté de chaque preuve (qu’ils vérifient), puis en tirent une évaluation absolument objective.

La réalité est bien sûr plus complexe. Les membres des comités d’évaluation sont humains : leur temps est limité, comme le spectre de leurs compétences mathématiques. Il peut même leur arriver d’avantager, consciemment ou non, leurs amis ou les collègues dont ils sont proches. La manière dont ils sont choisis (élus ou nommés) n’assure pas qu’ils soient toujours parmi les mieux à même de comprendre et d’évaluer des travaux mathématiques très divers.

Parallèlement, l’essentiel du travail d’évaluation fait par les mathématiciens consiste à referer des articles soumis à des journaux scientifiques. C’est un travail considérable : referer un bon article peut prendre des dizaines d’heures, parfois plus. Il est généralement fait — quand les éditeurs font bien leur travail — par des spécialistes parfaitement compétents. Une liste de publications contient donc une information importante : chaque ligne représente en principe un travail considérable d’éditeurs et des referees qui ont décidé d’accepter ou de rejeter un article, et des publications dans des journaux sélectifs sont une indication forte d’une activité reconnue par les meilleurs spécialistes d’un domaine. Sans aller jusqu’à utiliser le h-indice, on peut penser que le travail des commissions d’évaluation peut s’appuyer fortement sur les listes de publications, quitte à corriger l’impression qu’elles donnent, en particulier dans des cas atypiques (par exemple certains scientifiques dont la politique de publication est trop discrète au vu de leurs résultats).

Ce point de vue a aussi l’avantage d’être moins local (les referees sont internationaux) et moins sensible aux risques de favoritisme, ou du moins d’y être sensible différemment. Il risque de déplaire à certains experts des comités d’évaluation : ils tendent souvent (comme beaucoup d’entre nous) à surestimer leur compétence et la qualité de leurs analyses, et certains n’aiment pas l’idée de déléguer leur pouvoir à des referees anonymes. Mais la question de l’évaluation est importante, y compris en pratique, et un débat de fond sur les pratiques à suivre serait le bienvenu.

Partager cet article

Pour citer cet article :

Jean-Marc Schlenker — «Quelle place pour les journaux dans l’évaluation scientifique ?» — Images des Mathématiques, CNRS, 2009

Commentaire sur l'article

  • Quelle place pour les journaux dans l’évaluation scientifique ?

    le 12 janvier 2009 à 23:45, par MathOMan

    Salut JMS,

    et que penses-tu de la simple publication sur internet sans aucun éditeur ou comité de lecture (comme Perelmann l’a fait...) ? Est-ce que c’est trop marginal ?

    Répondre à ce message
    • Quelle place pour les journaux dans l’évaluation scientifique ?

      le 14 novembre 2009 à 03:35, par Martin

      Monsieur MathOMan

      La publication sur Internet permet à tous les scientifiques de participer à ’examen du travail scientifique, et à mesure que le nombre d’examinateurs augmente on s’approche mieux et plus vite de la vérité scientifique.

      Martin
      Le 14 novembre 2009

      Répondre à ce message
  • Quelle place pour les journaux dans l’évaluation scientifique ?

    le 13 janvier 2009 à 13:44, par Jean-Marc Schlenker

    Salut Bernhard,

    Il y a bien longtemps (disons, 10 ans) le rôle des journaux scientifiques, était double : ils servaient d’une part à rendre disponibles les travaux, d’autre part à les « certifier » en assurant que les résultats étaient corrects et avaient une certaine importance. Aujourd’hui le premier de ces rôles, celui de divulguer les nouveaux résultats, n’existe plus pour les journaux : il est parfaitement rempli par arxiv.

    Le seul rôle qui subsiste est donc de certifier les articles, et ce rôle est loin d’être négligeable. L’exemple que tu cites, Perelman, est très atypique : son résultat est absolument central, il a été soigneusement vérifié par plusieurs équipes (au prix d’un travail considérable) et tous les spécialistes le savent. Il peut donc se payer le luxe de ne pas envoyer ses articles à un journal.

    Dans les cas plus habituels, il me semble que le système des revues à comité de lecture reste la base et la clé de voute du système d’évaluation scientifique, et qu’on ne pourra pas s’en passer avant d’avoir inventé quelque chose de mieux. Ce à quoi certains s’emploient mais je ne suis pas sûr qu’ils aient encore trouvé quelque chose de mieux, en tous cas je crois qu’aucune alternative n’est actuellement fonctionnelle.

    Répondre à ce message

Laisser un commentaire

Forum sur abonnement

Pour participer à ce forum, vous devez vous enregistrer au préalable. Merci d’indiquer ci-dessous l’identifiant personnel qui vous a été fourni. Si vous n’êtes pas enregistré, vous devez vous inscrire.

Connexions’inscriremot de passe oublié ?

Dossiers

Cet article fait partie du dossier «Bibliothèques et périodiques mathématiques» voir le dossier

Suivre IDM