Indications bibliométriques sur l’évolution des mathématiques en France

Piste verte 20 février 2010  - Ecrit par  Jean-Marc Schlenker Voir les commentaires (9)

Introduction

L’utilisation de méthodes bibliométriques pour l’évaluation scientifique est sujet à controverses, en particulier lorsqu’il s’agit d’évaluer des chercheurs dans une discipline comme les mathématiques. Elles présentent, pour l’évaluation individuelle des chercheurs, des défauts qui rendent leur utilisation délicate voire dangereuse (Réf [1]). Pour cette raison, une vaste majorité de mathématiciens (dont l’auteur de cet article) sont opposés à cette utilisation pour l’évaluation individuelle (bien que de telles pratiques soient courantes, et généralement acceptées, dans d’autres disciplines).

On peut par contre être tenté d’utiliser des indicateurs bibliométriques de manière statistique pour étudier, globalement, la production scientifique dans une discipline scientifique, et pour discerner des évolutions tendancielles. C’est ce qu’on se propose de faire ici, bien que cette utilisation même d’outils bibliométriques ne fasse pas consensus - et soit même parfois l’objet de rejets violents - dans la communauté mathématique. La « qualité » d’un article donné ne peut être identifiée avec le journal dans lequel il est publié, pas plus que la « qualité » d’une mathématicienne ne peut se mesurer précisément par les journaux dans lesquels elle publie. Par contre, pour un centre assez gros – a fortiori pour un pays entier – les listes de publications donnent des informations significatives, bien que partielles, sur l’activité scientifique, même si cette information ne peut certainement pas être considérée comme la mesure d’une quelconque « qualité scientifique ». L’avantage évident des données bibliométriques - par rapport aux nombreux autres indicateurs qu’on peut imaginer utiliser - et qu’elles sont centralisées, facilement consultables, et qu’elles exploitent une structuration des revues mathématiques sur laquelle une forme de consensus existe parmi les mathématiciens.

L’objectif de ces quelques pages est de décrire quelques aspects des mathématiques en France, et de leur évolution au cours des dernières décennies, tels qu’on peut les observer à travers le prisme des données
bibliométriques disponibles dans la base de données Math Reviews de l’American Mathematical Society (AMS). On voudrait mettre en évidence de manière quantitative certaines caractéristiques intéressantes des mathématiques par rapport à d’autres disciplines en France, et des mathématiques françaises par rapport au reste du monde.

L’interprétation ou l’utilisation même de données bibliométriques peut mener à débat et ne représente pas une opinion unanime parmi les mathématiciens ; on espère simplement que ce texte pourra contribuer à ce débat en montrant que l’utilisation statistique des données bibliométriques peut conduire à bien autre
chose que le classement de Shangaï. [1]

Origine des données

Les chiffres présentés ici proviennent de publications dans une centaine de journaux de mathématiques pures et appliquées, recensées dans la base de données Mathematical Reviews [2]. Les journaux ont été choisis parmi les plus visibles dans les domaines des mathématiques pures, des mathématiques appliquées, et des probabilités et statistiques, en utilisant comme guide la liste de WoS [3]. L’utilisation de Mathematical Reviews est intéressante en raisons de deux qualités importantes de cette base : elle identifie individuellement les auteurs (distinguant ceux qui ont même nom et initiale, ou qui changent de nom), et elle attribue un code fiable à chaque institution.

Pour certains résultats on a utilisé un indicateur de « production » mathématiques, obtenu comme dans Réf [3]. Chaque journal est affecté d’un coefficient appelé M.C.Q. (Mathematical Citation Quotient) calculé par Mathematical Reviews, qui mesure l’impact en termes de citations par article dans les cinq ans suivant la publication, dans une partie des revues de mathématiques. On calcule pour chaque indice une « valeur » égale au nombre de pages, multiplié par le carré du M.C.Q. 2005 du journal. [4]
Puis la valeur de l’article est partagée entre ses auteurs. Cette formule peut être critiquée - chacun a son idée sur ce que devrait être un indicateur idéal - mais elle a l’avantage d’une certaine simplicité. La pondération par le nombre de page reflète le fait qu’un article long contient parfois plus de résultats, et représente plus de travail, qu’un article court.

L’inconvénient de cet indicateur est qu’il représente les différentes sous-disciplines de manière déséquilibrée. Les journaux de mathématiques appliquées et de statistiques tendent à avoir un M.C.Q. relativement faible. Cette sous-pondération peut être corrigée pour des études plus fines (Réf [2]) mais elle n’a pas nécessairement une grande importance ici. D’autres indicateurs pourraient bien entendu être employés, on a choisi ici de privilégier la simplicité en n’en utilisant qu’un seul. Mais les résultats obtenus avec d’autres indicateurs (faisant par exemple intervenir l’Impact Factor à cinq ans en complément ou en remplacement du M.C.Q.) sont similaires. [5]

Les données concernent la période 1984-2006, en effet Mathematical Reviews ne recense l’affiliation des auteurs des articles que depuis 1984. Pour ce qui concerne les variations temporelles, on a regroupé les années en quatre périodes de six ans (sauf la première, de cinq ans) ce qui permet de présenter des tableaux plus lisibles. L’attributions des articles à diverses sous-disciplines est faite (de manière inévitablement imparfaite) en utilisant le code M.S.C. principaux attribués aux articles. [6]
A partir de la liste de tous les articles publiés dans les journaux considérés, on obtient une liste de 60560 auteurs. Parmi eux, 32575 ont écrit au moins deux articles, ils forment une sous-population de « mathématiciens actifs » qui nous intéresse plus particulièrement. Pour ces auteurs nous disposons de la date de la première et de la dernière publication (jusqu’en 2006 inclus). Les affiliations successives de ces auteurs sont reconstruites en extrapolant à partir de celles indiquées pour les articles qu’ils ont publié dans la période (dans la liste des journaux que l’on considère).

Tous les chiffres présentés ici doivent être pris comme des indications, plus que comme des données absolument exactes. Les mesures faites dépendent d’un traitement des données qui introduit nécessairement un peu d’arbitraire (et quelques erreurs) dans des informations qui peuvent elle-même être imparfaites.
On pourra consulter Réf [2] pour plus de détails sur les données utilisées ici.

Les mathématiques françaises dans le monde

Premier constat : du point de vue de l’indicateur choisi, les mathématiques françaises se portent plutôt bien : la part des auteurs dont l’affiliation est en France, parmi l’ensemble des articles publiés dans les journaux considérés ici, est passée 10,4% à 12,7% du total. La part des mathématiques françaises, indiquée dans la table 1, varie largement entre les disciplines. Mais elle est élevée dans des domaines relevant tant des mathématiques pures que des mathématiques appliquées, voire des relations avec d’autres disciplines comme la physique.

Période
Discipline 1984-88 1989-94 1995-2000 2001-06
Algèbre 9.6 6.6 7.9 9.8
Analyse 5.2 7.6 5.8 5.9
Systèmes dynamiques  [7] 7.2 21.2
Géom. Algébrique 12.3 11.6 12.6 12.0
Géom. Différentielle 14.2 14.0 13.3 13.4
Numérique 4.7 4.7 6.4 7.9
EDP 14.7 14.6 15.2 17.6
Physique 7.1 13.2 20.0 19.8
Proba-Stat 9.9 10.6 16.2 15.6
Topologie 9.1 10.3 10.8 11.4
Divers 4.9 5.0 5.7 6.8
Total 10.4 10.8 11.4 12.7
Tableau. 1 : Part de la France dans la production mondiale, par discipline et par période

Il est à noter que la part qui est indiquée ici est peut-être légèrement minorée, pour des raisons méthodologiques. En effet le poids des journaux français (où la part des articles ayant un auteur en France est généralement un peu supérieure à la moyenne) peut être un peu minoré par le M.C.Q., d’une part en raison du choix des journaux dont la bibliographie est prise en compte (car Mathematical Reviews reste une base de données américaine), d’autre part parce qu’ils publient généralement plus d’articles en français que la moyenne, et qu’il semble que les articles en français tendent à être moins cités, toutes choses égales par ailleurs, que ceux en anglais.

Une autre remarque intéressante est que le poids moyen des articles (pondérés comme expliqué plus haut) publiés par les auteur dont l’affiliation est en France, parmi ceux qui apparaissent dans la liste définie plus haut, est supérieur à celui de n’importe quel autre pays. Les mathématiciens installés en France représentaient 4,17% de la liste restreinte des « mathématiciens actifs » dans la période 1984-88 (769 sur un total de 18431), et 7,73% à la fin (2231 sur un total de 28852).

Répartition géographique

La répartition géographique de la recherche mathématique en France a considérablement évolué au cours des dernières années. On présente dans le tableau 2 la part, dans la production nationale mesurée par l’indice indiqué plus haut, des institutions dont la part totale sur la période 1984-2006 est la plus importante.

Donner des chiffres absolus de production mathématique n’est pas très significatif, puisque ça conduit implicitement à comparer des centres de taille très différente. Nous incluons donc un indicateur, égal, pour chaque période et pour chaque centre, au nombre de mathématiciens présents dans notre base ayant leur affiliation dans l’université concernée.
 [8]

Période
Institution 1984-88 1989-94 1995-2000 2001-06
Part Auteurs Part Auteurs Part Auteurs Part Auteurs
Bordeaux 2.26 26 1.62 47 3.10 73 4.09 88
Cergy 0.24 3 1.55 20 3.63 32
Dijon 1.63 13 0.67 18 1.66 25 1.55 28
ENS Paris 5.85 34 3.45 56 4.71 76 4.22 75
ENS Lyon 1.40 18 3.22 41 3.40 41
Grenoble 2.73 25 3.19 46 3.06 61 3.27 71
IHES 6.75 25 7.45 28 1.59 25 1.25 22
Lille 1.68 26 0.89 30 1.46 75 1.92 95
Nancy 2.08 13 1.58 25 1.34 37 1.58 52
Nice 2.58 25 1.38 42 1.95 51 1.68 63
Paris 11 16.66 93 20.74 150 13.64 165 11.80 170
Paris 13 0.77 11 1.19 20 2.36 39 4.94 49
Paris 6 12.22 108 11.60 169 12.44 208 8.93 209
Paris 7 10.19 42 6.00 68 6.07 81 3.39 76
Paris 9 3.28 17 3.73 38 1.99 48 1.30 36
Polytechnique 8.54 56 7.57 74 4.93 91 3.54 93
Rennes 1.20 17 2.18 40 2.84 63 2.35 73
Strasbourg 3.29 24 2.45 37 2.95 62 1.90 54
Toulouse 3 0.73 13 5.23 37 4.69 90 5.60 121
Tableau. 2 : Part des principales institutions dans la production française

Une remarque s’impose : les mathématiques françaises se sont « déconcentrées ». Dans la première période, quelques grands centres, essentiellement parisiens, se partagent la part du lion dans la production nationale. Dans la dernière période, de nouveaux centres ont émergé, en particulier en province et en périphérie de la région parisienne, comme l’ENS de Lyon ou Cergy. Ces centres ont aujourd’hui une production suffisante pour avoir une forte visibilité à l’échelle non seulement française mais internationale. La continuation et l’amélioration de l’excellence française en mathématiques provient donc non seulement du maintien des grands centres historiques mais aussi de l’émergence de centres dans lesquels une recherche de haut niveau se développe.

On peut voir dans cette extension une conséquence de la politique résolue menée au sein de la communauté mathématique française (en particulier par le CNRS) pour développer tous les centres, en particulier en favorisant la mobilité. On reviendra sur ce point plus bas.

Le même phénomène est visible dans le tableau 3. On y donne l’évolution, au cours de nos quatre périodes, de la part des 10 principales institutions (du point de vue de la production dans la période considérée). La part des dix premières institutions décroît fortement, alors que la part de celles qui ne sont pas même dans les quarante premières augmente nettement, passant de 3% à plus de 9% de la production nationale.

Période
Groupe 1984-88 1989-94 1995-2000 2001-06
1-10 72.7 71.4 58.8 53.5
11-20 15.0 13.8 18.3 20.7
21-40 9.3 9.6 15.1 16.5
41- 3.0 5.2 7.7 9.3
Tableau. 3 : Part des 10 (resp. 20, 40) principaux centres

Une autre remarque importante se dégage de ces données : l’absence criante des grandes écoles d’ingénieurs, à l’exception de l’Ecole Polytechnique. Alors que les instituts de technologie étrangers (M.I.T., Caltech, E.T.H., etc) se distinguent par une recherche d’excellence en mathématiques pures et appliquées, les grandes écoles françaises (sauf, encore une fois, l’Ecole Polytechnique) n’apparaissent presque pas dans la production mathématique française, mesurée de manière bibliométrique. Quelques unes disposent d’équipes de très bon niveau, mais spécialisées dans des domaines très spécifiques, et avec une production scientifique qui ne leur permet pas (du moins d’après nos critères) de s’approcher des moins visibles des universités. De manière regrettable, l’excellence française en mathématiques ne profite guère aux futurs ingénieurs (sauf indirectement pendant leur passage en classes préparatoire).

Formation et mobilité

Intéressons-nous maintenant à un autre élément clé de la recherche mathématique : où sont formés les jeunes chercheurs. Les données dans ce domaine sont plus difficiles à obtenir que pour la production scientifique, telle qu’elle peut être évaluée par les articles publiés. Nous avons considéré seulement les mathématiciens qui ont publié au moins deux articles dans notre liste d’une centaine de journaux, entre 1984 et 2006. Pour tous ces mathématiciens nous disposons de la date de leur première publication [9] que nous identifions à sa « naissance » mathématique, mais nous connaissons son affiliation uniquement pour les années où il a publié un article dans l’un des journaux de notre liste restreinte, après 1984. Nous attribuons une « première affiliation » à une auteure lorsque sa première affiliation connue est au plus 3 ans après sa « naissance ». Cette affiliation ne correspond donc pas nécessairement au lieu où elle a effectué sa thèse, mais dans l’indicateur dans son ensemble donne une idée statistiquement valable de l’endroit où sont formés les jeunes mathématicien(ne)s, qu’il s’agisse de thèses ou de post-docs.

Période de « naissance »
Institution 1984-88 1989-94 1995-2000 2001-06
Bordeaux 0.9 3.4 2.3 1.5
ENS Paris 9.6 5.2 4.0 5.9
ENS Cachan 0.9 0.9 1.4 2.5
ENS Lyon 2.6 3.2 3.4
Besançon 3.4 1.1 0.5
Grenoble 0.9 1.7 2.6 2.5
Lille 2.6 0.9 1.4 0.5
Lyon 1 1.8 0.9 1.7 1.5
Nancy 2.2 1.1 2.5
Nice 3.5 2.6 2.6 3.4
Paris 11 12.3 9.9 11.2 8.9
Paris 13 2.6 2.3 1.0
Paris 6 22.8 9.9 10.0 9.4
Paris 7 6.1 3.4 2.3 2.5
Paris 9 0.9 6.5 2.6 0.5
Polytechnique 7.0 5.6 4.6 4.4
Rennes 2.6 1.7 3.0
Tableau. 4 : Proportion de mathématicien(ne)s formé(e)s dans différentes institutions

Les résultats apparaissent dans le tableau 4. Précisons encore une fois qu’il ne s’agit pas de savoir où sont formés les doctorants en mathématiques, mais bien de la petite proportion de ceux qui deviennent par la suite des mathématiciens assez confirmés pour publier au moins deux articles dans un journal de haut niveau. Le même phénomène que dans le tableau 2 est visible : on passe d’une configuration concentrée, où la formation se fait dans quelques centres surtout parisiens, à une situation beaucoup plus ouverte. Il y a d’ailleurs une forte corrélation entre la production scientifique indiquée dans le tableau 2 et la formation des futurs chercheurs, mais avec quelques écarts notables.

Un second élément clé dans le fonctionnement de l’école mathématique française est le fort degré de mobilité des mathématiciens. On montre dans le tableau 5 le nombre moyen d’affiliations qu’ont eu précédemment les mathématiciens installé en France dans notre liste restreinte et dont la première publication date de plus de 4 ans (resp. 9 ans, 19 ans). L’évolution temporelle n’est pas entièrement fiable du fait d’effets de bords (c’est pourquoi les années 1984-1993 ne sont pas indiquées). Mais la direction générale est claire : le degré de mobilité est important, et en augmentation nette sur la période. Il faut noter que le degré de mobilité calculé de cette manière en France est élevé par rapport à la moyenne mondiale. (Il est comparable aux Etats-Unis, généralement plus faible ailleurs.) On voit là encore l’effet de l’action structurante menée au cours des dernières décennies, en particulier par le CNRS, pour favoriser les recrutements externes dans les universités.

Age
Année > 4 ans >9 ans >19 ans
1994 1.521 1.536 1.364
1995 1.578 1.615 1.417
1996 1.612 1.661 1.484
1997 1.659 1.720 1.518
1998 1.687 1.762 1.601
1999 1.735 1.806 1.674
2000 1.756 1.848 1.727
2001 1.815 1.901 1.818
2002 1.869 1.949 1.861
2003 1.895 1.974 1.948
2004 1.936 2.010 2.048
2005 2.022 2.085 2.176
2006 2.175 2.294 2.419
Tableau. 5 : Nombre moyen d’affiliations précédentes, en fonction de l’ « âge »

Un dernier élément important est le degré d’ouverture et l’attractivité des mathématiques françaises. On en donne une indication dans le tableau 6, qui indique le nombre de mathématiciens actifs en France qui ont été « formés » pendant chaque période dans différents pays (dans le sens qui est expliqué plus haut) et le tableau 7, qui indique le nombre de mathématiciens « formés » en France pendant chaque période et actifs dans d’autres pays. [10]

Période
Région de formation 1984-88 1989-94 1995-2000 2001-06
Allemagne 7 12 15
Australie 1 4
Brésil 1 1 2 6
Canada 1 2 6 6
Chine 2 3 5
Espagne 1 10
Etats-Unis 7 19 31 41
France 123 305 586 711
Grande-Bretagne 5 9 12
Inde 1
Israël 2 5
Italie 4 6 10
Russie 2
Suisse 1 10 16
Autres 6 18 36
Tableau. 6 : Nombre de mathématiciens exerçant en France, par pays de « formation »
Période
Pays d’exercice 1984-88 1989-94 1995-2000 2001-06
Allemagne 2 12 18
Australie 1
Brésil 2 2 2
Canada 2 1 11
Espagne 1 3 4 7
Etats-Unis 2 15 21 45
Grande-Bretagne 2 7 10
Israël 1 2
Italie 3 3 11
Japon 4
Suisse 1 2 7
Autres 1 3 8 25
Tableau. 7 : Nombre de mathématiciens « formés » en France, par pays d’exercice

Deux faits marquants émergent de ce tableau, qui sont d’ailleurs vrais de manière plus générale au niveau international (voir Réf [2]), où des indicateurs un peu différents sont utilisés).

  • Le nombre de déplacements entre pays est relativement faible, du moins parmi les mathématiciens qu’on considère. La grande majorité reste dans le pays où ils ont été formés (sauf parfois pour des périodes courtes à l’étranger).
  • Les échanges sont remarquablement symétriques : loin de faire apparaître un « brain drain » qui favorise certains pays au dépends d’autres, les tableaux montrent plutôt des échanges assez équilibrés.
    Le second point est d’ailleurs complété par d’autres données plus fines (non présentées ici, voir Réf [2]) qui indiquent que les échanges entre pays sont assez équilibrés aussi du point de vue de la productivité scientifique (poids total moyen des articles publiés par an) des chercheurs.

Dans l’ensemble, l’école mathématique française paraît bien implantée dans un réseau d’échanges internationaux ; elle forme des mathématiciens qui peuvent ensuite être actifs à l’étranger, mais garde aussi une attractivité remarquable (au vu des différentiels de salaires avec certains autres pays) pour les mathématiciens actifs formés à l’étranger.

Références

[1] Robert Adler, John Ewing, Peter Taylor, Citation Statistics. également publié dans Statist. Sci. Volume 24, Number 1 (2009), 1-14.


[2]
Pierre Dubois, Jean-Charles Rochet, and Jean-Marc Schlenker, What does it take to be a good mathematician, en préparation, 2009.


[3]
Jean-Marc Schlenker, Les enjeux de la bibliométrie pour les mathématiques, Gazette des mathématiciens 115, 1/2008, pp 73-79, 2008.

Remerciements

Les résultats présentées ici n’ont pu être obtenus que grâce à l’autorisation donnée par Mathematical Reviews d’utiliser leur base mathscinet de manière non standard ; nous leur en sommes reconnaissant. Le traitement des données a été réalisé dans le cadre d’un projet en collaboration avec Pierre Dubois et Jean-Charles Rochet, qui ont donc une grande part dans le travail qui a permis l’obtention des résultats, et dans les analyses présentées ici. [11]

Merci aussi à Etienne Ghys et à Fabrice Planchon, ainsi qu’à de nombreux autres relecteurs d’Images des Mathématiques, pour des remarques utiles sur des versions préliminaires de ce texte.

Notes

[1Il me semble en fait qu’une familiarité minimale des mathématiciens avec certains outils bibliométriques pourrait leur être extrêmement utile, en particulier dans le contexte d’échanges dans des conseils interdisciplinaires (par exemple dans les universités) où les arguments quantitatifs risquent de devenir de plus en plus courants.

[2Cette base de données est éditée par l’American Mathematical Society, elle est très largement utilisée par les mathématiciens comme outil de recherche et de référence bibliographique.

[3WoS, pour Web of Science, est une base de données bibliographique largement utilisée dans l’ensemble des disciplines scientifiques (mais assez peu en mathématiques) y compris à des fins d’évaluation. Elle a été utilisée pour déterminer une liste de journaux parce lors de la mise au point des données utilisées ici Math Reviews ne fournissait pas encore de liste (ordonnée par MCQ) de journaux comme c’est le cas aujourd’hui.

[4Cette utilisation du carré du MCQ peut paraître étonnante ; elle permet de donner aux différents journaux une pondération comparable à celle que leur accorderaient intuitivement une partie des mathématiciens. Ainsi le MCQ le plus grand (pour les Publications Mathématiques de l’IHES) est de 2.7, alors qu’un « bon » journal comme J. Funct. Anal. a un MCQ de l’ordre de 1, d’où un ratio des carrés qui est de l’ordre de 7. Les MCQ les plus faibles parmi les journaux considérés sont de l’ordre de 0,3, il « pèsent » donc un peu plus de 1/100 des journaux principaux. Cette pondération a pour conséquence de donner un rôle prépondérant aux quelques journaux les plus visibles (au sens du MCQ) et donc de limiter dans une certaine mesure l’importance de la taille des centres. Elle a par contre l’inconvénient de donner un poids important à certains articles, d’où une variation relativement grande dans l’indicateur des petits laboratoires.

[5Quand on modifie les critères utilisés, on voit généralement très peu de différences sur les résultats. Une exception : si on utilise par exemple le MCQ au lieu de son carré, on « favorise » les « gros » départements au dépens de ceux plus petits mais très « actifs ». De même, utiliser l’Impact Factor au lieu du MCQ tend à favoriser (relativement) les départements ayant une forte spécialisation en mathématiques appliquées.

[6A titre d’exemple, la catégorie « Géométrie Différentielle » correspond aux codes MSC 51-XX, 52-XX, 53-XX, 32-XX et 58-XX. De manière plus générale, les attributions sont faites comme suit.

| Domaine| Codes MSC |
|Algebre |06,08,20,18,15,16,17|
|GeomAlg |11,12,13,14|
|GeomDiff |51,52,53,32,58|
|Topologie |19,54,55,57,22|
|Analyse |26,28,30,41,42,43,46,47,33,34,39,40|
|EDP |31,35,44,45,49|
|SysDyn |37|
|Physique |70,74,76,78,80,81,82,83,85,86|
|Numerique |65|
|ProbaStats |60,62|
|Divers |00,01,97,03,05,68,90,91,92,93,94|

[7Les systèmes dynamiques ne deviennent une catégorie dans la classification MSC, qui rest ré-évaluée régulièrement, qu’à partir de notre 3ème période.

[8Il s’agit donc de ceux qui ont publié, au cours de la période 1984-2006, au moins deux articles dans notre liste de référence. Les attributions d’affiliations sont faite
en interpolant à partir des affiliations connues par des publications dans les journaux de notre liste.

[9Dans n’importe quel journal, pas nécessairement de notre liste restreinte. Cette date a été récupérée, via le code auteur, dans la base de données Math. Reviews, indépendamment de la liste des articles publiés dans les journaux considérés dans l’étude.

[10Le nombre de personnes apparaissant dans le tableau 6 (2040) est plus faible que l’effectif total des mathématiciens sur des postes universitaires ou de recherche en France (qu’on peut estimer à 3500 environ), puisqu’on considère seulement ceux ayant publié deux articles au moins dans notre liste restreinte, et parmi eux ceux dont la « première affiliation » est identifiée, au sens défini plus haut, le tout seulement à partir de 1984.

[11Les lecteurs désirant plus d’informations sur les données sont invités à me contacter.

Partager cet article

Pour citer cet article :

Jean-Marc Schlenker — «Indications bibliométriques sur l’évolution des mathématiques en France» — Images des Mathématiques, CNRS, 2010

Commentaire sur l'article

  • Indications bibliométriques sur l’évolution des mathématiques en France

    le 27 février 2010 à 19:46, par Jean-Paul Allouche

    Pour intéressant que soit cet article, je me permettrai de lui faire une critique facilement transposable à la majorité des quantifications de ce type, et bien sûr à tous les classements, indices etc.
    Après les précautions d’usage sur le faible degré de confiance qu’il faut attribuer aux quantifications, sont présentés des chiffres et tableaux qui ont toutes les apparences de l’Incontestable Science. Et pourtant... conclure que les « mathématiques françaises se portent bien », même si c’est agréable à entendre, est peut-être à pondérer par une autre conclusion possible, à savoir les mathématiciens français ont assimilé à leur tour la règle du publish or perish et ne se censurent plus dans leurs publications. Pour les affiliations, peut-être plus de chercheurs étrangers sont invités et peut-être se sentent-ils plus obligés de mettre leur affiliation provisoire. Pour la déconcentration, certes la politique de non-recrutement local poussée par le CNRS a joué, mais peut-être aussi les mathématiciens « provinciaux » ont-ils plus éprouvé le besoin de publier (toujours le publish or perish), besoin qu’ils ne ressentaient pas de manière si impérieuse auparavant TOUT EN FAISANT de la très bonne recherche qu’ils se contentaient de rédiger sous forme de prétirages locaux, etc. etc. On aura compris que l’examen de chiffres, même pour de grands nombres d’individus ou d’institutions ne peut suffire à tirer des conclusions définitives. Je ne résiste pas à conclure par la remarque classique que le fait qu’un article soit abondamment cité ne dit rien de la « qualité » de cet article (par exemple combien d’articles fondateurs sont très peu cités mais surtout combien d’articles faux sont cités pour souligner l’erreur ou les erreurs qu’ils contiennent).

    Amicalement, jpa

    Répondre à ce message
  • Indications bibliométriques sur l’évolution des mathématiques en France

    le 28 février 2010 à 12:41, par Jean-Marc Schlenker

    Merci pour ce commentaire intéressant.

    Sur le premier argument, tout à fait d’accord, les indicateurs peuvent être influencés par la pression à publier — il est d’ailleurs facile de les manipuler en donnant des incitations individuelles fortes aux chercheurs pour publier le plus ou le « mieux » possible. Néanmoins je ne suis pas sûr que ce phénomène soit si important pour le cas qui nous occupe. L’une des raisons et qu’il n’y a pas de pressions individuelles très forte sur les mathématiciens en France pour publier beaucoup. L’autre est que l’indicateur utilisé ici pondère fortement les revues les plus sélectives, et qu’il n’est pas si facile d’y publier.

    Il y aurait par ailleurs un (autre) débat à avoir sur le principe de ne pas publier ses résultats, ou seulement dans des prépublications locales. Tout le monde n’est pas Grothendieck ou Perelman, et il me semble que soumettre ses articles à des revues sérieuses et les voir critiquer par des referees, voire occasionnellement refuser, est un élément incontournable de la recherche. Et des travaux non publiés courrent bien sûr le risque de tomber dans l’oubli.

    Sur le point final (citations vs qualité) d’accord, mais ça n’intervient pas directement ici puisqu’on ne considère pas le nombre de citations des articles, seulement le MCQ des journaux comme « proxy » de leur réputation.

    Répondre à ce message
    • Indications bibliométriques sur l’évolution des mathématiques en France

      le 1er mars 2010 à 21:22, par Pierre Colmez

      Il y a aussi un problème de fond à utiliser ce genre d’indices
      automatiques : une fois que l’on connaît la fonction à maximiser, il est très facile de manipuler les résultats.
      Par exemple, si l’Institut Mathématique de Jussieu décide
      d’augmenter le MCQ du Journal du même nom (par ailleurs un excellent journal), il lui suffit de demander à ses membres de citer au moins deux articles parus dans le Journal au cours des trois dernières années dans chacun de leurs articles...

      Répondre à ce message
      • Indications bibliométriques sur l’évolution des mathématiques en France

        le 3 mars 2010 à 17:18, par Thierry Bouche

        Le problème de fond est un problème de société : est-ce que nos activités doivent être uniquement gouvernées par des gestionnaires surveillant l’évolution d’indicateurs chiffrés, ou orientées en fonction de leur sens ? La société actuelle semble avoir largement répondu (pour la France : LOLF, LRU...) Survalorisation délirante des gestionnaires qui méconnaissent totalement le sens de l’activité qu’ils gèrent, et s’appuient donc nécessairement sur des indicateurs à leur tour surexposés. Petit à petit, on se trouve donc dans un société où chacun travaille ses indicateurs (la seule incitation structurelle d’un indicateur est celle de le détourner à son avantage) sans aucune considération pour la mission réelle que l’on est censé accomplir. La police entasse les gardés à vue plutôt que de prévenir les infractions... Un chercheur qui découpe son livre de référence en quinze articles de synthèse booste sa valeur sur le marché en compliquant la vie de ses lecteurs éventuels, etc.

        Il y a deux utilisations d’indicateurs qui ont été évoquées dans l’article et ses commentaires, et dont l’utilisation a des conséquences très différentes : les indicateurs a priori ou ad hoc. Si on publie des indicateurs et on annonce qu’ils serviront à l’évaluation, il est évident qu’on incite à une modification des comportements dans le sens de l’amélioration de ces indicateurs, ce qui ouvre la porte à toutes les dérives évoquées et à vider rapidement de son sens l’activité soumise à ce traitement. On peut en revanche souhaiter étudier une question précise et pour cela produire des données chiffrées jugées pertinentes. Si la méthodologie employée est suffisamment transverse par rapport aux « incitations » ayant cours, on peut ainsi obtenir des éclairages intéressants. Mais une démarche d’évaluation a posteriori qui demande de la réflexion et des compétences n’est vraiment pas dans l’air du temps !

        Répondre à ce message
        • Indications bibliométriques sur l’évolution des mathématiques en France

          le 4 mars 2010 à 07:27, par Jean-Marc Schlenker

          Merci à Thierry Bouche pour ses deux messages.

          Je préfère ne pas me prononcer sur les questions de vocabulaire ou de politique au sens le plus général. Pour répondre au dernier paragraphe ci-dessus, je suis bien sûr aussi d’avis que les évaluations scientifiques ne peuvent pas être fondées des données bibliométriques (ou d’autres chiffres) mais qu’elles doivent être faîtes par des experts scientifiquement compétents (lesquels pourraient dans certains cas utiliser des données bibliométriques comme des indications parmi d’autres, dans certains cas bien identifiés, mais par exemple pas pour les évaluations individuelles en mathématiques).

          Mais l’objet du papier présenté ici est, comme c’est souligné par Thierry Bouche, tout à fait autre : c’est en effet d’étudier diverses questions, concernant au sens large l’activité des mathématiciens. Pour ça l’utilisation de données de type bibliométrique semble apporter un éclairage potentiellement utile.

          Pour répondre à une autre critique, la dernière phrase de l’article prête peut-être à sur-interprétation : j’aurais peut-être dû remplacer « paraît » par « paraît, à l’aune des données considérées ici ».

          Répondre à ce message
      • Indications bibliométriques sur l’évolution des mathématiques en France

        le 4 mars 2010 à 17:31, par Thierry Bouche

        Sur le problème de fond, une dernière chose oubliée hier : c’est la référence à un article de Douglas N. Arnold (président de SIAM).

        Il y démontre, de façon fort convaincante, qu’il est impossible de fonder une évaluation scientifique sur la bibliométrie en mathématiques, car les chiffres sont tellement peu importants qu’il est à la portée de tout le monde de les truquer [Songeons qu’une revue aurait un fort impact si en moyenne les articles qu’elle publie sont cités au moins une fois au cours des deux ou cinq années qui suivent sa parution !].

        Cette critique, et les exemples qu’il donne, me semble condamner sans appel l’utilisation de ce que j’ai appelé dans un commentaire précédent les indicateurs a priori. En revanche elle n’interdit pas le moins du monde l’exercice auquel se livre Jean-Marc Schlenker tant qu’une condition de transversalité (de type Arnol’d ?) est vérifiée entre les indicateurs ayant déjà cours ici ou là (à l’OST, p. ex.) et ceux développés pour étayer sa réflexion. Ce sur quoi, à vrai dire, je ne mettrais pas ma main à couper.

        Répondre à ce message
        • Indications bibliométriques sur l’évolution des mathématiques en France

          le 4 mars 2010 à 21:39, par Jean-Marc Schlenker

          Merci pour cette référence à ce papier tout à fait fascinant de D. Arnold — on en apprend de belles sur ce qui se passe dans le vaste monde mathématique. Néanmoins je ne crois pas qu’il soit si facile d’augmenter nettement l’Impact Factor, encore moins le MCQ, d’un journal, sans faire appel aux grossières tricheries que décrit Arnold. En effet je crois connaître un certain nombre d’éditeurs de journaux sérieux qui voudraient bien augmenter l’IF ou le MCQ de leurs journaux (sans « tricher ») et dont les efforts n’ont guère de succès... Le moyen « acceptable » le plus efficace que je connais est l’avance sur les dates de publications, que j’ai décrit dans une réponse à un autre message.

          Pour le second paragraphe, je ne suis pas sûr de la signification de « transversalité » mais les indicateurs utilisés par l’OST sont assez nettement différents de ceux utilisés ici.

          Répondre à ce message
    • Indications bibliométriques sur l’évolution des mathématiques en France

      le 3 mars 2010 à 17:34, par Thierry Bouche

      Hum, en réaction à la dernière phrase, le problème est que tout de même tout intervient ici puisque chaque hypothèse de travail ne sert pas qu’à produire un chiffre mais à l’utiliser et en tirer des conclusions sur la santé des maths françaises !

      Par ailleurs, proxy est un mot anglais qui signifie courtier. Le MCQ serait donc le courtier de la réputation d’un journal, la question de la signification des citations elles-mêmes ne se posant que lorsqu’elles pointent d’un article vers un autre (quoique nous ne connaissions pas cette signification) elle ne se pose donc plus lorsque nous les ramenons à l’échelle du journal ?

      L’élévation au carré du MCQ revient à favoriser les journaux (donc les articles parus dans ces journaux ou les auteurs qui y publient ?) lorsqu’ils reçoivent en moyenne plus d’une citation par article publié, et à rabaisser les autres. Là aussi, il y a un choix : celui de la valeur 1. (on pourrait prendre le log aussi bien, ou toute autre fonction).

      Dans l’article, l’argument de la stabilité dynamique du système en fonction de ses paramètres semble tenir lieu de justification scientifique de la validité des indications données par les tableaux. Il me semble que c’est un bon procédé rhétorique, mais je n’arrive pas à trouver de lien logique entre cette stabilité et cette éventuelle validité !

      Voici, cher Jean-Marc Schlenker, quelques unes des perplexités dans lesquelles vos écrits me plongent !

      Répondre à ce message
  • Indications bibliométriques sur l’évolution des mathématiques en France

    le 1er mars 2010 à 21:48, par Jean-Marc Schlenker

    C’est parfaitement exact, il y a beaucoup de manières de « tricher » avec ces indices. Exemple entendu : des éditeurs de journaux qui profitent des rapports de referee pour encourager fortement les auteurs à ajouter des refs à des articles parus dans leur journal...

    Plus subtil, mais très efficace, surtout pour l’Impact Factor calculé à 2 ans : avancer la date de publication. Certains journaux sortent en ce moment, au moins de manière électronique, leur numéro de juin 2010. Comme le nombre de citations est typiquement croissant à compter de la publication, et que l’IF est calculé sur 2 ans, ces 4 mois « gagnés » peuvent augmenter l’IF de 30% ou plus...

    Il y a beaucoup d’autres manières de « tricher », ça pourrait faire l’objet de tout un (autre) article.

    Plus important peut-être : l’utilisation (explicite ou implicite) d’outils de ce genre donne inévitablement des incitations aux scientifiques, qui diffèrent suivant les indicateurs choisis : publier beaucoup d’articles, ou bien essayer à tout prix de publier dans les meilleurs journaux, etc. C’est un aspect à mon avis essentiel, qui justifie que les scientifiques s’intéressent au choix des indicateurs utilisables, voire participent à leur mise au point. Ce qui permettrait aussi de bien délimiter pour quoi ces indicateurs peuvent, et ne peuvent pas, être utilisés.

    Répondre à ce message

Laisser un commentaire

Forum sur abonnement

Pour participer à ce forum, vous devez vous enregistrer au préalable. Merci d’indiquer ci-dessous l’identifiant personnel qui vous a été fourni. Si vous n’êtes pas enregistré, vous devez vous inscrire.

Connexions’inscriremot de passe oublié ?

Suivre IDM