Monde de la recherche Retour à la rubrique

Evaluer l’activité de recherche en sciences mathématiques : quelques principes et beaucoup de lecture

Le 20 février 2010 - Ecrit par Fabrice Planchon Voir les commentaires (10)

Le présent texte est, pour une grande part, inspiré d’un texte écrit
par trois mathématiciens australiens, A. Carey, M. Cowling and
P. Taylor, en 2006, dans le cadre d’une réflexion menée par le
ministère de la recherche australien sur les indicateurs de qualité. Ce texte, publié ultérieurement par la
gazette mathématique australienne, a été traduit en français par
S. Cordier et publié dans Matapli (p. 37).

On peut dire sans se tromper que la quasi-totalité de l’activité de
recherche en sciences mathématiques (on entend ici un ensemble de
domaines qui va des plus fondamentaux aux plus appliqués, et notamment
les interactions avec les autres sciences et les industriels) est
évaluée par des comités. Ces comités sont divers et variés, dans leur
mode de constitution, leur mission et leur impact ultérieur sur
l’activité évaluée, mais leur dénominateur commun est simple : ils
sont formés de chercheurs en sciences mathématiques (les « peers » du
« peer review »), et ces chercheurs se basent sur les travaux écrits
rendant compte de l’activité pour l’évaluer. Ce constat élémentaire
recouvre des situations diverses et qui pourraient paraître éloignées
quand on n’y a jamais participé : un jury d’admissibilité de concours
chercheur au CNRS, composé de chercheurs et d’enseignants-chercheurs
(élus par leur pairs ou nommés par le ministère de la recherche sur
proposition du CNRS), va lire soigneusement les dossiers des
candidats, avec une attention particulière pour les travaux
scientifiques, ce qui inclut la lecture détaillée d’articles publiés
ou non, pour décider qui il souhaite recruter ; un comité éditorial de
journal scientifique, le plus souvent constitué par cooptation, va
décider de la publication d’un article qui lui est soumis sur la base
de rapports de lecture détaillée qu’il aura sollicité auprès d’experts
qu’il juge compétents [1] ; un comité de
visite d’un laboratoire, constitué de scientifiques extérieurs
(souvent pour partie étrangers), va, avant de se déplacer sur les
lieux, recevoir (et lire !) un volumineux rapport d’activité rédigé
par les membres du laboratoire, qui fait une synthèse plus moins
détaillée des travaux poursuivis par ses équipes et leurs membres. On retiendra que ces différents comités pris en exemple ne lisent pas tous directement des travaux de recherche : ils lisent des rapports d’activité individuels (qui font la synthèse de travaux de recherche, publiés ou non), des rapports de lecture de relecteurs anonymes, des rapports d’activité de laboratoire (document de synthèse sur 4 ans qui dépasse le cadre strict des travaux de recherche). Il s’agit donc d’un système à plusieurs étages, où l’étape la plus importante, celle de la relecture d’un travail de recherche par des relecteurs anonymes choisis par un comité éditorial, vient en premier lieu, déclenchée par le chercheur qui a soumis son travail à un journal pour publication. Il s’agit là du sens historique du terme « peer review » [2], même si pour la suite de ce texte nous adoptons un sens dérivé recouvrant plus largement l’ensemble des procédés d’évaluation gérés par la communauté scientifique elle-même.

Quels que soient les travers de cette évaluation, il n’en reste pas
moins qu’elle a été et demeure la pierre angulaire du fonctionnement
du système académique tel qu’on le connait depuis des décennies. Pour
paraphraser Churchill, le peer review est le plus mauvais des systèmes
à l’exclusion de tous les autres, autrement dit on en connait les travers (nombreux) mais sa modification (règles éthiques,
transparence, renouvellements, etc...) n’en change pas l’essence. La multiplication des outils
de comptage efficaces (où l’on oublie parfois de réfléchir à ce qu’on
compte...), l’émergence des bases de données, la volonté parfois
affichée (notamment par les bailleurs de fonds) d’adopter une logique
de performances plutôt que de moyens, l’impression diffuse que bon
nombre de comités ne ferait finalement qu’additionner (pas toujours
correctement) le nombre de publications, le montant des contrats ou
l’âge des directeurs d’équipe peuvent laisser croire qu’un bon
logiciel avec les bonnes données pourrait produire un résultat de
qualité équivalente [3].

La complexité et la diversité des activités pratiquées en sciences
mathématiques rendent une telle « utopie » complètement irréaliste ; et
la même chose peut d’ailleurs être répétée dans la plupart des
domaines scientifiques, dès lors que l’on considère un domaine
recouvrant un champ thématique suffisamment large [4]. Nous allons
décrire, sans volonté d’exhaustive, quelques activités de nature
variée qui entrent en compte dans ces mystérieuses discussions de
comité auxquelles on n’a pas accès (jusqu’au moment où on s’y retrouve
soi-même !).

Commençons par souligner que les habitudes de publication des
chercheurs en sciences mathématiques sont assez disparates, suivant
les sous-domaines et les écoles diverses ; et que l’on trouve des
extrêmes à quelque époque que ce soit (le logicien K. Godel a publié
moins de dix articles dans la première partie du vingtième siècle,
L. Euler en a publié près de mille trois siècles plus tôt. P. Erdos a
lui publié près de mille cinq cents articles dans la seconde moitié du vingtième
siècle, mais G. Perelman moins de dix et ses travaux sur la conjecture
de Poincaré ne seront jamais publiés sous son nom dans un journal à
comité de lecture). Si l’on veut bien oublier les extrêmes, en général
en mathématiques on publie quelques articles par période quadriennale [5],
avec des variations significatives entre sous-domaines (ici on
publiera « peu » mais de longs articles, entre cinquante et cent pages
fréquemment, alors que là on publiera « beaucoup » d’articles courts,
dépassant rarement vingt ou trente pages). Aussi l’analyse bibliométrique
brute n’a pas grand sens et son utilisation déplacée peut être
néfaste, comme l’explique très bien le rapport de l’IMU sur le sujet.
Il n’en reste pas moins que les publications sont l’élément naturel
considéré pour l’évaluation de l’activité scientifique. La plupart
sont des articles dans des journaux internationaux à comité de lecture
; on trouve également, mais plus rarement, des actes de conférence
(dans certains sous-domaines, par exemple en lien avec l’informatique,
les grandes conférences internationales et leurs actes ont pris plus
de valeur que les publications traditionnelles, notamment parce
qu’elles peuvent réduire considérablement le délai de publication). En
mathématiques peu de conférences produisent des actes et les journaux
à comité de lecture restent la règle, les livres étant eux le plus
souvent destinés à faire un état de l’art ou à présenter un tout
cohérent, mais rarement à la publication de résultats entièrement
nouveaux. L’ordre des auteurs est le plus souvent alphabétique
(contrairement à d’autres champs disciplinaires où il existe des
règles parfois opposées sur la pertinence de l’ordre), et cela reflète
une tradition bien établie qui veut qu’un auteur signe une publication
lorsqu’il y a contribué de façon significative (là encore, d’autres
domaines ont des pratiques très différentes, qui voient une longue
liste d’auteurs incluant au delà des auteurs du texte les
expérimentateurs, le chef d’équipe voire de laboratoire). Ceci a bien
évidemment une influence sur la longueur des listes de publications,
sur les taux de citation (on mentionnera également à ce sujet que la
pratique en mathématique est de citer les travaux que l’on utilise ou
que l’on étend, et non pas de reprendre une bibliographie
exhaustive). Ces réalités pratiques donnent des indicateurs
bibliométriques généralement bien plus faibles que dans des
disciplines comme les sciences médicales ou la biologie [6]. En outre, il
faut prendre en compte d’importants délais de publication en
mathématiques [7], souvent des mois avant l’acceptation
d’un article et plus d’un an voire deux avant sa mise sous
presse. Ceci est d’autant plus important pour le recrutement des
jeunes, pour lesquels il n’est pas rare qu’une partie non négligeable
des travaux soit au stade de pré-publication (et donc, nécessite une
relecture soigneuse pour garantir le sérieux du travail et sa
qualité). Ces échelles temporelles se retrouvent également dans la
durée de vie d’un article, qui, lorsqu’il est cité, l’est souvent pour
des périodes d’une dizaine d’années ou plus (à comparer avec les deux ans
après la publication utilisés dans d’autres disciplines pour
construire leur facteur d’impact). Finalement, il faut souligner que
même lorsqu’on a sous la main un article déjà publié (donc, a priori,
validé par un comité de lecture), la qualité du journal où il est
publié ou le nombre de citations qu’il a reçu ne dispense pas d’en
faire une lecture substantielle si l’on veut convaincre une douzaine
de collègues qu’il contient un résultat majeur. Les indices de
citation sont susceptibles de variation saisonnière [8], ne serait-ce qu’en
raison des volumes considérés ; la qualité des mathématiques se juge
sur des temps longs, en comparaison des temps courts en usage dans
d’autres disciplines.

Le nombre et le volume des contrats de recherche ont toujours été pris
en considération dans les domaines des sciences mathématiques où ils
étaient traditionnellement une source de financement conséquente,
c’est-à-dire les applications, la modélisation, en lien notamment avec
l’industrie. Lorsque qu’une pratique est relativement uniforme au sein
d’une communauté, elle devient naturellement un facteur signifiant. La
généralisation des financements sur projet (et les liens, parfois très
directs, avec l’encadrement doctoral et post-doctoral) conduit donc
ceux-ci à devenir un indicateur supplémentaire. il convient néanmoins
de garder à l’esprit que n’obtiennent des financements que ceux qui
les demandent [9] et que, dans
de nombreux sous-domaines, on peut continuer à mener une activité de
recherche d’excellence sans jamais remplir une demande de financement.

L’encadrement de doctorants mais également de post-doctorants, est un
indicateur qui prend de l’importance au cours d’une carrière
individuelle, et au niveau d’une structure de laboratoire, la qualité
du cadre offert aux jeunes est un critère important pour mesurer
l’activité du laboratoire. L’encadrement en mathématiques est le plus
souvent fait de rapports très directs et réguliers entre doctorant et
directeur de thèse, et ce dernier ne peut encadrer sérieusement que
quelques doctorants simultanément (même si ce peut être sur des sujets
complètement différents). Le co-encadrement, s’il est pratiqué
notamment avec l’étranger mais également pour permettre à des jeunes
non encore habilités à diriger des recherches de pratiquer, n’atteint
pas la forme industrielle pratiquée dans d’autres disciplines (où le
travail en grosse équipe hiérarchisée fait sens). Pour illustrer le
rapport à l’évaluation, soulignons qu’il est aujourd’hui très rare que
le CNRS recrute un directeur de recherche qui n’ait pas déjà dirigé
quelques doctorants : il ne s’agit pas de textes (qui, contrairement à
ceux régissant les recrutements de professeurs des universités,
n’exigent pas de procédure de qualification et d’habilitation à
diriger des recherches), mais de la réalité d’un concours de
recrutement où, à qualité scientifique égale, se trouveront toujours
des candidats ayant dirigé des thèses...

Au delà des critères évoqués jusqu’à présent, il en existe de
multiples autres, très souvent corrélés à des degrés divers aux
précédents et entre eux. Citons, entre autres, les invitations dans des
conférences (nationales, internationales) ; les invitations par
d’autres institutions académiques pour des périodes plus ou moins
longues (année sabbatique dans une autre université ; l’invitation
dans un institut de recherche à programme thématique, comme l’IAS, le
MSRI, l’IHÉS, l’institut Mittag-Leffler, l’IHP et bien d’autres ; les
prix scientifiques ; la participation à des comités (de journaux,
d’organisation ou de programme de conférences, de recrutement,
d’évaluation...) ; la qualité et la diversité des collaborations (un
critère pour lequel les avis sont parfois très divergents...) ; la
production de logiciels ultérieurement d’usage répandu ; l’obtention
de brevets ; les activités de communication (de nos jours on ne dit
plus vulgarisation : il n’en reste pas moins qu’en mathématiques,
cette activité n’est que rarement reconnue à sa juste valeur pour ceux
qui l’exercent, parfois, souvent, avec un art consommé).

Pour conclure, une évaluation, c’est un processus qui peut comprendre
beaucoup de lectures à la lampe de chevet pour les évaluateurs, et qui
se termine (pour eux) par une réunion où l’enjeu sera de faire un
compte-rendu de lecture, mais également de savoir écouter ceux des
autres (on remplacera compte-rendus de lecture par impression de la
visite d’évaluation si besoin, etc) ; cela suppose pour l’évaluateur
qu’il ait l’envie d’entendre parler d’autre chose que ce dont il est
le spécialiste (et qui l’a fait arriver là), qu’il soit prêt à
s’adapter à des pratiques diverses pas toujours en phase avec les
siennes, qu’il accepte de se ranger gracieusement à l’avis qui n’est
pas le sien quand il n’a plus d’argument, et qu’il endosse une forme
de responsabilité collective une fois les décisions prises. Le jour où le logiciel Excel passera le test de Turing il sera temps d’envisager de lui
confier l’évaluation.

Article édité par Étienne Ghys

Notes

[1] J’ai ouïe dire qu’un éditeur sérieux fait
souvent plus que jeter un coup d’œil aux articles qu’il traite,
d’autant qu’il devra convaincre ses collègues éditeurs du bien-fondé
qu’il y a à suivre les recommandations des relecteurs, si du moins elles sont positives ; autrement dit, là où un avis mitigé ou négatif signe quasiment le rejet, des avis positifs doivent être en plus argumentés, par exemple lorsqu’il y a trop d’articles soumis...

[2] Qu’on traduit généralement par l’« évaluation par les pairs ». Ce système est généralement considéré comme étant apparu au dix-septième siècle en Angleterre, mais ne s’est répandu dans tous les domaines scientifiques que dans le courant du vingtième.

[3] Cela ne dispense pas, bien au contraire, de disposer de données chiffrées, qu’on peut analyser de manière statistique, ou simplement utiliser comme point de référence, en particulier dans des discussions interdisciplinaires : imaginons qu’on veut promouvoir un mathématicien dans une réunion où les physiciens sont majoritaires. Si le président de séance invoque le nombre de citations comparativement faible du mathématicien, il n’est pas inutile d’avoir une idée de la taille de la communauté dont il fait partie, des taux de citation moyens/médians, d’exemples connus (Médailles Fields) ayant des taux comparables, etc ; l’expérience montre que c’est efficace, en tout cas plus que chanter la sempiternelle ritournelle de l’exception des mathématiques. On pourra utilement consulter le texte d’un exposé de M. Bonneville et N. Haeffner-Cavaillon lors d’un colloque à l’académie des sciences en 2007, utilité et limites des indicateurs bibliométriques pour l’évaluation de la performance académique dans le domaine biomédical, qui définit les notions courantes comme facteur d’impact ou taux de citation, et donne un intéressant panorama de l’utilisation de ces indicateurs dans l’évaluation individuelle.

[4] De nouveau, dans une situation où l’on est amené à comparer des champs disciplinaires différents, des indicateurs chiffrés bien définis et ayant le même sens pour tous les interlocuteurs peuvent être un bon moyen de cadrer les comparaisons. Mais il ne s’agit plus d’évaluation scientifique, il s’agit d’interclasser des individus ou des groupes ou des projets qui ont déjà été évalués au niveau précédent. Autre sujet d’article...

[5] Période de quatre ans qui correspond en France à la fréquence d’évaluation des laboratoires de recherche.

[6] On retrouve ici l’intérêt qu’il y a à comprendre et analyser l’engouement de certaines autres disciplines pour les indicateurs chiffrés, si l’on veut qu’ils soient diversifiés et correctement utilisés comme outils parmi bien d’autres et non comme substitut à l’évaluation.

[7] On peut y voir, au choix, un gage du sérieux de la
relecture ou une mesure de l’échec à traiter correctement le volume
des publications soumises...

[8] L’AMS permet de visualiser les cent journaux à plus fort MCQ (une forme d’indice de citation) annuel, dans sa base de données Math Reviews, entre 2000 et 2008 : la réunion de ces 8x100 journaux contient 165 journaux après tri. Le même exercice avec les seuls 10 premiers donne 18 journaux, et 6 d’entre-eux sont présents chaque année...

[9] Plus exactement, 10 à 20% d’entre eux... lorsque la logique de distribution est de financer « les meilleurs », définis comme les 10% supérieurs. Dans une discipline où les besoins matériels sont sans comparaison avec les sciences expérimentales et dont les standards de comparaison sont mondiaux, on peut s’interroger sur la pertinence d’une telle logique.

Commentaire sur l'article

Evaluer l’activité de recherche en sciences mathématiques : quelques principes et beaucoup de lecture

le 20 février 2010 à 10:11, par Béotien anonyme

A propos de la note 8 qui indique « Le même exercice avec les seuls 10 premiers donne 18 journaux, et 6 d’entre-eux sont présents chaque année... »

Pourriez-vous lister ces journaux de référence afin de donner à un béotien tel que moi une idée de ce qui constitue le « haut du panier » en Mathématiques ?
Merci d’avance.
Répondre à ce message

Evaluer l’activité de recherche en sciences mathématiques : quelques principes et beaucoup de lecture

le 21 février 2010 à 11:53, par Fabrice Planchon

le lien donné dans le texte permet de voir la liste de l’AMS (pour les 10 premiers journaux, en accès libre. Pour lister plus de 10 journaux il semble qu’un abonnement aux Math. Reviews soit nécessaire).
Quoi qu’il en soit, si je ne me suis pas trompé, les 6 que j’évoquais sont Acta Math., Annals of Math., Communications in Pure and App. Math., Inventiones Math., Journal of the Am. Math. Soc. et Publications Math. de l’IHES. Rien de surprenant.
Répondre à ce message

Evaluer l’activité de recherche en sciences mathématiques : quelques principes et beaucoup de lecture

le 21 février 2010 à 11:36, par Damien Calaque

un jury d’admissibilité de concours chercheur au CNRS, composé de chercheurs et d’enseignants-chercheurs (élus par leur pairs ou nommés par le ministère de la recherche sur proposition du CNRS), va lire soigneusement les dossiers des candidats, avec une attention particulière pour les travaux scientifiques, ce qui inclut la lecture détaillée d’articles publiés ou non, pour décider qui il souhaite recruter

Il me semble que la réalité est assez éloignée de cela. Les membres des comités de recrutement (CNRS ou Université, France ou étranger) ne lisent pas en détail les articles des candidats.

Au mieux ils en parcourent un ou deux. Au pire ils se contentent de les compter. En général ils se renseignent auprès de collègues qui ont probablement lu au moins un des articles du candidat.

Damien
Répondre à ce message

Evaluer l’activité de recherche en sciences mathématiques : quelques principes et beaucoup de lecture

le 21 février 2010 à 12:31, par Fabrice Planchon

Je peux reformuler : quand j’y étais (pour le CNRS, qui était l’exemple que je donnais), je lisais certains articles ; je ne crois pas que j’étais le seul... Maintenant, pour des raisons simples de volume, personne ne lit tout, et certainement pas de la même façon qu’un referee le fait pour un journal. Lire un article pour un comité de lecture peut prendre au minimum quelques heures, et parfois beaucoup plus. Pour en rester au CNRS, un membre du jury d’admissibilité a entre 4 et 6 semaines pour lire entre 20 et 40 dossiers sur lesquels il rapporte (rien n’interdit de lire certain de ceux sur lesquels on ne rapporte pas...). Avec entre 1 et 3 publications ou pré-publications jointes au dossier, faites le calcul, il est clair que tout ne sera pas lu en détail. Par contre, pour les quelques dossiers que ce membre du jury pense devoir défendre jusqu’au bout, il est utile de lire en profondeur (ne serait-ce que parce que s’il ne le fait pas mais qu’un autre membre du jury l’a fait, ça peut engendrer des surprises désagréables...).

Outre l’aspect volumétrique, si j’ose dire, il n’est pas nécessaire de lire systématiquement des publications qui ont déjà été acceptées dans un journal à comité de lecture, puisque leur publication « garantit » qu’une relecture soigneuse a été faite => on s’appuie donc sur ce travail antérieur, censé assurer à la fois la correction du travail et son intérêt. Mais la simple lecture d’une liste de publications et du dossier de présentation/synthèse ne remplace pas la lecture « en parcourant » de quelques articles quand on veut avoir une idée plus précise. Et le cas n’est pas rare d’un dossier (au niveau des jeunes) avec une seule publication acceptée (voire pas du tout) mais plusieurs autres travaux présentés sous forme de pré-publication. Parfois les rapports des rapporteurs de thèse (lorsqu’ils sont joints, puisqu’ils ne sont pas demandés officiellement) se substituent en quelque sorte à la forme de garantie donnée par le label « publié dans un journal », mais il n’est pas si rare de devoir aller regarder soi-même. Si l’on veut parler de dossiers plus confirmés, la situation est un peu différente parce qu’en général il y a des membres du jury qui connaissent bien les travaux des candidats (au sens où leur propre activité de recherche les a amené à lire certains des travaux présentés).

Je ne crois pas la pratique à l’étranger ou dans les universités si différente.
Répondre à ce message

Evaluer l’activité de recherche en sciences mathématiques : quelques principes et beaucoup de lecture

le 21 février 2010 à 16:18, par Emmanuel Kowalski

>Je ne crois pas la pratique à l’étranger ou dans les universités si différente.

À l’étranger si, certainement ! Pour la plupart des collègues ne connaissant pas le système français (et le CNRS en particulier), il est pratiquement inconcevable d’octroyer un poste permanent à un(e) jeune chercheur(se) à peine sortie de thèse sur la base d’une étude de dossier — où le fait d’être déjà connu d’un(e) membre du jury aura un effet demesuré (dossier suffisamment flou par ailleurs pour que les rapports de thèse ne soient pas « demandés officiellement »...) — et d’une audition de 5 minutes (si je ne me trompe). Tout collègue ayant eu l’occasion d’écrire une lettre d’évaluation pour un(e) candidat(e) considérée pour un poste dans une université étrangère (à la demande de celle-ci, en général, et indépendamment des lettres de recommandation demandées par les candidat(e)s) sait que ce système français est extrêmement singulier...
Répondre à ce message

Evaluer l’activité de recherche en sciences mathématiques : quelques principes et beaucoup de lecture

le 21 février 2010 à 17:02, par Fabrice Planchon

Je ne parle pas de procédures. Je parle de la facon dont on lit un dossier quand on recrute. Si tu me dis que tu ne lis pas les dossiers peu ou prou de la facon dont je le décrivais, j’ai un peu de mal à le croire.

Quant au « dossier suffisamment flou », il serait bon de savoir de quoi on parle. Donc, précisons les choses pour le lecteur : le CNRS demande un dossier (pour un candidat à un poste de chargé de recherche) qui comprend un certain nombre de pièces. L’une de ses pièces est « le rapport de soutenance de thèse ». Quiconque a lu un rapport de soutenance de thèse de mathématiques sait que ce document, qui dépasse rarement la demi-page voire la page, n’est d’aucune utilité pratique. Seulement voilà, le concours de recrutement du CNRS, c’est 40 sections disciplinaires, et les mathématiques n’en sont qu’une parmi les 40. Et, semble-t-il, dans un nombre non négligeable d’autres disciplines, le rapport de soutenance est un très long document, qui reprend quasi in extenso ce qui est écrit dans les rapports des rapporteurs (en Sciences Humaines et Sociales notamment, mais pas seulement). j’ai eu l’occasion d’expliquer celà à la DRH du CNRS après le concours 2005, où l’on avait constaté le manque. La réponse officielle a été ce qui précède, et en pratique, dans la documentation au candidat, il a été rajouté explicitement « rapport des rapporteurs » dans la liste des exemples de « documents divers » pouvant être joints au dossier. Il faut arrêter de croire que la gestion des modalités du concours CNRS est sous le contrôle de la commission qui fait les listes, le CNRS est une grosse machine où obtenir des modifications qui tombent sous le sens (pour le demandeur) se heurte souvent, d’une part, au fait que ce qui fait sens pour lui ne fait pas sens pour la section disciplinaire d’à coté, et d’autre part au fait que la règlementation des concours de la fonction publique est assez rigide (et que la DRH craint les recours judiciaires comme la peste, pour les complications que cela peut engendrer. Si les tribunaux annulent un concours, c’est particulièrement désastreux pour les gens recrutés cette année-là).

Autre exemple : l’audition de 5 minutes (plutôt 10, en fait). Cela fait des années que certaines sections du Comité national (qui se constitutent en jury d’admissibilité pour les concours chercheurs), en particulier la 01, celle des math, mais aussi la 07 (pour faire court, l’informatique) demandent à pouvoir n’auditionner qu’une liste restreinte. La réponse à cette demande est quelque chose comme « c’est le règlement de la fonction publique qui nous y oblige, on ne peut pas changer cela » (joli mensonge, les régimes dérogatoires existent, j’en veux pour preuve les auditions sur les postes universitaires), ou bien « il faut changer le décret qui régit les corps de chercheurs » (j’ai ouïe dire que ça va arriver, pour d’autres raisons, et que des dispositions seront prises pour permettre les auditions restreintes). Et je ne parle pas des collègues d’autres sections, qui, n’ayant sans doute pas fait de théorie élémentaire des ensembles, ignorent que le tout est une partie du tout, et protestent contre une modification qui les « empêcherait d’auditionner tout le monde ». Pour finir sur ce sujet, pourquoi vouloir sélectionner les auditionnés ? pour éviter de faire se déplacer inutilement certains candidats (de l’étranger notamment), et pour pouvoir allonger convenablement la durée des auditions. Les sections 01 et 07 sont assez largement en tête du nombre de candidats par concours. La section 07 auditionne pendant une semaine entière pour pouvoir entendre convenablement tout le monde. A l’opposé, la section 01 perpétue la tradition des auditions « éclair » pour ne pas dépasser un jour ou deux. C’est un choix de convenance que je n’approuve pas personnellement mais qui résulte d’une décision collective de la section en amont du concours, chaque année.

Sur les lettres, on pourrait écrire un roman. J’ai eu l’occasion d’en écrire pour des gens aux US (pas seulement des recommandations, des évaluations également), je n’ignore pas comment ça marche. Pour en rester au concours CNRS, là encore la situation a un peu progressé dans le bon sens : jusqu’en 2005 inclus, la seule option pour qu’une lettre de recommandation soit une pièce officielle d’un dossier était que le candidat la joigne lui-même (donc, soit il envoie un dossier sous forme papier et il peut mettre une enveloppe cachetée donc ignorer le contenu, soit il fait un dossier électronique, et là il n’a pas le choix il voit la lettre). Il a été expliqué à la DRH qu’une lettre de recommandation lue par un candidat, ça n’avait pas de sens (je ne peux pas décrire la mine ébahie de mes interlocuteurs, mais je dois reconnaître qu’ils ont pris en compte ce qui leur était dit) => résultat, une lettre de recommandation peut être envoyée directement au service du concours, avec le numéro de dossier du candidat (que celui-ci donne à son recommandant), du moment qu’elle arrive avant la clotûre des inscriptions (ces lettres sont ensuite scannées pour être jointes au dossier électronique). Ça a le mérite qu’on peut donc éviter une gestion parallèle de lettres envoyées directement aux membres du jury (qui, selon les textes réglementaires, doivent être « ignorées »). Un jour peut-être il sera possible de demander ouvertement des lettres d’évaluation... Maintenant, là encore, dans d’autres sections ils ne veulent pas entendre parler de lettres quelles qu’elles soient, donc il est difficile pour les sections de peser collectivement sur la DRH pour faire évoluer le système.
Répondre à ce message

Evaluer l’activité de recherche en sciences mathématiques : quelques principes et beaucoup de lecture

le 21 février 2010 à 18:11, par Emmanuel Kowalski

Quand il s’agit de faire une lecture rapide d’un dossier, je suis d’accord que cela correspondra effectivement souvent à ce qui était décrit.

Mais une telle lecture, bien souvent, n’aura pas lieu d’être (du moins pas à l’échelle de ce que le comité d’une section du CNRS doit faire) pour un poste permanent, pour lequel la procédure sera typiquement suffisamment individualisée pour permettre une évaluation basée beaucoup plus sur des contacts directs (dans beaucoup d’institutions, les candidats pré-sélectionnés pour un poste sont systématiquement invités — aux frais de l’université, évidemment — pour une journée, comprenant un vrai exposé scientifique, discussions avec divers responsables et membres du département, etc)
Répondre à ce message

Evaluer l’activité de recherche en sciences mathématiques : quelques principes et beaucoup de lecture

le 21 février 2010 à 19:14, par Fabrice Planchon

Oui, c’est mieux (en tout cas c’est mon avis personnel) lorsqu’on peut se permettre une procédure individualisée ; mais il faut pour cela être recruté par une institution physiquement bien identifiée (et qui définit ses règles de fonctionnement en interne, ou en tout cas dispose d’une certaine souplesse). Si l’on met de coté l’aspect fonction publique/poste permanent du CNRS, on pourrait dire que l’on est plus proche d’une procédure à la NSF fellowship aux EU (qui est, de mémoire, entièrement sur dossier) que d’un recrutement de professeur. Ceci étant, au niveau des postes de type « assistant professor non tenured track », pas mal de facs américaines recrutent sans nécessairement déplacer les candidats (et, au fur et à mesure que le niveau de recrutement augmente, la procédure se complique et les déplacements augmentent et s’allongent). Ce que j’apprécie dans la procédure que tu décris est qu’elle implique généralement le département qui recrute au delà des seuls collègues directement intéressés au plan scientifique, ce qui me paraît assez sain.
Répondre à ce message
Evaluer l’activité de recherche en sciences mathématiques : quelques principes et beaucoup de lecture

le 28 février 2010 à 21:46, par Christine Huyghe
Ayant été membre moi-même de diverses commissions de recrutement, dont le
comité National du CNRS, je ne peux qu’abonder dans le sens de F. planchon. Oui, le travail effectué dans ces commissions
est sérieux. Oui, de temps en temps, il y a des erreurs. Aucun système n’est parfait. Mais surtout, nous connaissons
les candidats. Non par la procédure, qui est
insuffisante, mais parce que les candidats ont l’occasion
d’exposer leurs travaux, dans les différents séminaires des
laboratoires (où ils sont invités et défrayés), et pour les candidats français et étrangers, dans les congrès qui précèdent les commissions de recrutement. Ces rencontres nous sont précieuses pour discuter avec les futurs candidats.

Précisément parce que les postes en France sont permanents
- ce qui au passage constitue une partie de l’attractivité
  du pays, notamment vis-à-vis des étrangers- la responsabilité des différentes commissions de recrutement
  est très importante et elles sont au contraire particulièrement vigilantes à les « réussir ». Ce qui passe par des discussions préalables avec les candidats.
Mais je suis aussi d’accord que le non-défraiement
des candidats de leurs déplacements pendant les procédures de recrutement est un vrai scandale.

Tout cela n’est pas une raison pour ne pas réclamer une
amélioration des procédures, mais on ne peut pas non plus
laisser écrire que les candidats sont pris au CNRS sur la base d’une audition de 5mn et d’un dossier lu à la va-vite.

D’ailleurs on parle beaucoup de maths dans ces commissions de recrutement : c’est quelque chose de tout à fait intéressant.
Répondre à ce message

Evaluer l’activité de recherche en sciences mathématiques : quelques principes et beaucoup de lecture

le 6 mars 2010 à 19:17, par Emmanuel Kowalski

Le problème du CNRS n’est certainement pas de recruter des « mauvais » mathématiciens en se basant sur une évaluation trop rapide... Quand il y a au moins 30 ou 40 candidats largement au niveau CR2 chaque année, les chances de ne pas faire de bons choix est faible, particulièrement vu la qualité scientifique des membres du comité national.

Mais si les critères effectifs sont informels et non-écrits (rencontres avec les candidat(e)s dans des congrés, etc), il me semble qu’il y a un manque flagrant d’équité. Tout les candidat(e)s rencontrent-ils/elles ainsi les membres du comité national ? Et quels membres ?

Ce qui me déplait personnellement — mais les collègues effectuant le recrutement n’y sont pas pour grand chose —, c’est que l’évolution des carrières de l’enseignement supérieur a pour conséquence que les heureux(ses) élu(e)s sélectionnés par le CNRS disposent d’avantages exhorbitants par rapport aux autres, et que la seule justification que je puisse trouver éventuellement admissible — une supériorité scientifique tranchée — n’est absolument pas garantie, à cause de la richesse même de notre école mathématique (sans parler des candidatures venant de l’étranger).
Répondre à ce message

Laisser un commentaire

Forum sur abonnement

Pour participer à ce forum, vous devez vous enregistrer au préalable. Merci d’indiquer ci-dessous l’identifiant personnel qui vous a été fourni. Si vous n’êtes pas enregistré, vous devez vous inscrire.

Connexion | s’inscrire | mot de passe oublié ?

L'auteur

Fabrice Planchon

Professeur à l’Université de Nice Sophia-Antipolis, laboratoire Jean-Alexandre Dieudonné.
Rédacteur en chef d’Images des Mathématiques.

Evaluer l’activité de recherche en sciences mathématiques : quelques principes et beaucoup de lecture

Notes

Commentaire sur l'article