Très joli billet qui choisit une approche originale et assez subtiles pour aborder des questions complexes.

Concernant la bibliométrie c’est vrai qu’elle présente un paradoxe apparent entre la simplicité des instruments qu’elle propose (au moins pour certains) et l’importance qui leur est de plus en plus donnée. C’est d’autant plus important d’essayer d’en comprendre les enjeux et d’en faire une critique mesurée et raisonnée. Or je suis frappé par le rejet massif de la bibliométrie de la part de certains mathématiciens, rejet parfois extrème qui contraste avec l’utilisation désormais quotidienne qu’en font les scientifique de certaines disciplines.

Je crois comme la plupart de mes collègues que l’évaluation individuelle des mathématiciens devrait éviter (ou n’utiliser que de manière limitée) les outils bibliométriques, pour deux raisons soulignées dans le billet : le risque d’erreurs (en particulier pour évaluer les jeunes chercheurs) et surtout les incitations perverses que ça pourrait donner (en gros, publier et communiquer plutôt que chercher). Ce problème des incitations perverses est peut-être plus grave en maths que dans d’autres disciplines.

Par contre, pour les évaluations collectives de structures de taille suffisante, le rejet de l’utilisation raisonnée d’outils bibliométriques adaptés (par des experts scientifiquement compétents) me paraît moins évidente. En particulier pour une raison pratique :
il me semble que ces évaluations reposent souvent in fine sur des évaluations quantitatives intuitives (on ne peut pas lire tous les papiers, donc on regarde où ils sont publiés, s’ils semblent avoir une visibilité suffisante dans la communauté, etc). Or des outils bien formalisés feraient le même travail avec des résultats plus fiables. Une fois obtenus, des indicateurs peuvent être corrigés/complétés par une analyse fine faite par des experts scientifiquement compétents.

Un autre avantage des outils bibliométriques est qu’ils peuvent servir de garde-fous, en obligeant les experts (qui ne sont pas toujours infiniment vertueux ou compétents) à justifier leurs choix. Supposons par exemple que dans une commission, l’expert A présente le dossier de B, ami de longue date de A, en expliquant qu’il publie peu mais que c’est une autorité de premier plan dans son domaine et que ses travaux des années 80 fot référence. Si un autre membre de la commission s’aperçoit que B n’a été cité que 3 fois en tout au cours des 15 dernières années (exemple vécu), l’argument de A a, au moins, besoin d’être justifié de manière particulièrement solide...

Il y a plusieurs raisons au rejet de la bibliométrie par certains mathématiciens, il me semble que la principale est la crainte qu’elle ne permette à des extérieurs (scientifiques d’autres disciplines, technocrates) de mettre leur nez dans nos affaires et d’avoir une opinion sur la qualité de nos recherches. Il me semble pourtant que le véritable danger (avéré) est qu’ils ne le fassent de manière malhabile et inadaptée à notre discipline, et n’arrivent à des conclusions erronnées. La meilleure réponse serait non pas de refuser en bloc tous les outils bibliométriques (combat probablement perdu d’avance) mais bien d’en proposer de bons, adaptés aux mathématiques, en expliquant parallèlement de quelle manière ils peuvent, ou ne peuvent pas, être utilisés.

Bonjour à tous,

Une réponse partielle au commentaire de Jean-Marc Schlenker, qui est « frappé par le rejet massif de la bibliométrie de la part de certains mathématiciens, rejet parfois extrème qui contraste avec l’utilisation désormais quotidienne qu’en font les scientifique de certaines disciplines. »

C’est peut-être justement l’usage qui est fait dans d’autres disciplines de la bibliométrie qui incite les mathématiciens à ne surtout pas vouloir suivre la même voie ! Pour illustration, j’étais récemment à une formation du CNRS destinée à des physiciens et mathématiciens récemment recrutés. Lors d’une séance abordant la bibliométrie, le rejet de cette pratique fut massif, voire totalement unanime, parmi les nouveaux recrutés. Et pas moins parmi les physiciens, où la bibliométrie est plus utilisée, que les mathématiciens. Une collègue a même cité en exemple à ne pas suivre une audition dans un concours d’entrée dans un organisme de recherche où un membre du jury avait calculé devant elle son facteur H, expliquant qu’elle avait probablement été avantagée par une homonymie. L’expérience de la pratique courante de la bibliométrie ne signifie pas forcément adhésion, bien au contraire !

Par ailleurs, je ne partage pas l’idée que « Ce problème des incitations perverses est peut-être plus grave en maths que dans d’autres disciplines. » Plusieurs études ont montré que de nombreux chercheurs reconnaissent « trafiquer » leurs résultats, notamment dans les domaines où les applications industrielles sont importantes. Bien sûr, dans ce cas, la bibliométrie n’est pas la seule incitation, mais son utilisation pour l’évaluation d’une recherche participe de la même vision de la recherche que le financement sur projets ou sur résultats qui rend tentant d’« embellir » ceux qu’on a réellement obtenus. Je ne suis pas sûr que cela soit moins grave pour de la recherche médicale, par exemple, qu’en mathématiques... Sans bien sûr vouloir minimiser la nuisance très grave qu’occasionnerait le recours généralisé aux indicateurs bibliométriques en math. (publier une démonstration longue et technique qu’on sait pertinemment incomplète, mais avec un « trou » difficile à repérer, peut amener par ricochet à des catastrophes matérielles quelques années plus tard, au moins si le résultat faux est utilisé directement ou indirectement pour des applications matérielles).

Cordialement,

A.D.

Joli article en effet. L’exemple de Google montre à la fois l’intérêt et les limites des procédures automatiques (surtout si elles sont utilisées sans recul). Sur les questions de bibliométrie : il existe une recherche en bibliométrie qui montre les biais de telle ou telle mesure mais qui — malheureusement — semble admettre comme certains collègues qu’on peut à force de perfectionnement et de réflexion fabriquer un indice pertinent, intelligent, efficace etc. C’est évidemment absurde que de vouloir « quantifier la qualité ». La vraie question, en amont, est de savoir pourquoi on veut quantifier. Réfléchissons aux vraies raisons et convenons qu’elles ne sont guère reluisantes. Pour comprendre les enjeux politiques (plus dans le cas des sciences humaines il est vrai), on lira avec profit le numéro 37 (2009) de la revue Cités,
intitulé « L’idéologie de l’évaluation. La grande imposture ».
(Voir ici, et dans toutes les bonnes librairies.)

Que penser de tout cela ? Google a tranché ! Sur la demande « la bonne evaluation de la recherche », il indique en no. 1 :

http://www.lesechos.fr/info/analyses/02076600028-la-bonne-methode-d-evaluation-des-chercheurs.htm

ite missa est.

Ma démarche est simpliste mais à vous, cher lecteur, d’en démontrer l’inanité.

Entrelacements

Au jeu du Master Mind, pourquoi la programmation de syllogismes de
recherche est-elle si difficile à implémenter, demande Xavier Caruso ?
Pourquoi la méthode « brutale » de recherche-élimination dans le
dictionnaire est-elle plus performante ? Ces interrogations
s’inscrivent dans un problème philosophique plus général qui va
s’accentuer et se complexifier considérablement dans l’avenir : comment
donc en effet, dans les cinq prochaines décennies, va-t-on voir
se positionner les unes vis-à-vis des autres, d’un côté les
activités humaines de la pensée, et de l’autre côte les machines
électroniques sans pensée ? Problème très difficile, et avec internet
tout autour de nous, qui d’entre nous ne réfléchit pas chaque
jour à ce problème, ne serait-ce qu’ inconsciemment ?

Simplicités

Mais quant au Master Mind, ce jeu très attrayant auquel, adolescents
et mathématiciens débutants, nous avons tous excellé, voici quelques
observations que l’on pourra qualifier de simples. [By the way,
un colloque intitulé :

Simplicity as an Epistemological Value in Scientific Practice
www.paris-iea.fr

aura lieu le 8 et le 9 janvier à l’Institut d’Étude Avancées de
Paris. Avis aux amateurs de concepts généraux !]

Google n’a pas de cervelle propre

Premièrement, notre cerveau est clairement incapable de passer en
revue en un dixième de seconde les $2400$ mots du Petit Robert,
de sélectionner seulement ceux qui ont cinq lettres, et ensuite, à
chaque réponse que donnera le meneur de jeu à l’une des questions-test
que nous lui poserions, de reparcourir à nouveau tous les mots
restants de cinq lettres et au même moment en un dix-millième de
seconde pour chaque mot, ou bien d’éliminer le mot qui est lu, ou bien de
le conserver en fonction d’un critère prédéfini et
constant. D’ailleurs, notre cerveau n’est pas du tout programmé pour
exécuter de telles tâches qui sont fondamentalement mécaniques. Qui
songerait en effet à prendre le départ d’un 10\,000 mètres en
compétition avec un TGV Est sur le couloir de gauche ?

Héritiers de millions de milliards de gestes

La méthode « simple » n’est donc pas si simple : il y a
encore moins d’une cinquantaine d’années, elle aurait été impensable !
Notre pratique des ordinateurs méconnaît habituellement le fait
que ces machines compressées jusqu’aux échelles microscopiques du
monde physique local qui nous est acessible ont été construites,
pensées, améliorées sur un temps extrêment long, avec la
contribution de milliers, voir de dizaines de milliers
d’ingénieurs-informaticiens. Le geste si simple aujourd’hui pour le
jeune programmateur en herbe : "donnez-moi toutes les décimales de
$\pi$ jusqu’à la 10001-ème" contient en lui plusieurs dizaines
de millions de gestes lents, difficiles et hésitants des concepteurs
de machines étalés sur presque un siècle. Lukas a consacré presque 20
ans de sa vie à calculer les 26 premières décimales de $\pi$
avec la méthode d’exhaustion d’Archimède. Son nom en allemagne est
resté attaché à la demi-circonférence du cercle unité, mais que dire
l’étudiant lambda qui s’émerveille d’un prétendu pouvoir magique sur
Maple, sur Mathematica ou sur n’importe quel software de calcul
électronique, sinon qu’il est bien naïf de croire que son
destin est fondamentalement différent des mathématiciens qui
calculaient à la main ? En effet, tout est seulement une question
d’ échelle, les mathématiques sont infinies, et l’utilisation des
calculateurs électroniques ne fait que repousser la limite du
faisable. La recherche en mathématique est réellement un chantier
inépuisable, et fort heureusement !

Faust du temps long

Impossible de ne pas citer Hegel ici.

"C’est là assurément un temps fort long, et la longueur du
temps que requiert l’esprit pour se procurer la philosophie est ce qui
peut ébranler. J’ai dit au commencement que notre philosophie
d’ aujourd’hui n’est pas autre chose que le résultat du
travail de tous les siècles."

Stop !
Avons-nous bien lu cette phrase ? Lisons-la, relisons-la, méditons-la,
et reméditons-la !
Moment, please ! It’s so good,
it’s so great to read that !

"Il faut savoir, quand on est frappé d’un temps si long, que cette
longueur de temps a été utilisée pour acquérir ces concepts—non tant
jadis que maintenant. Il faut savoir en général que l’état du monde,
d’un peuple, dépend du concept qu’il possède de lui-même ; le
royaume de l’esprit n’est pas comme un champignon qui pousse en une
nuit ; qu’il y ait eu besoin d’un temps si long ne frappe que
lorsqu’on ne connaît pas la nature et l’importance de la philosophie
et qu’on n’y prête pas attention [...]"

G.W.F. Hegel Leçons sur l’histoire de la philosophie,
Introduction, Bibliographie, Philosophie Orientale, Traduction de
Gilles Marmasse, Paris, Librairie philosophie J. Vrin, 2004, 207 pp.

Mirages de la mémoire englobante

Deuxièmement, notre être biologique est principalement structuré
pour se mouvoir dans un univers d’options exponentielles en se posant
des questions pour décider de chaque acte. Cela aussi, c’est le fruit
d’un temps long, mais en fait extrêment plus long que celui de
l’Histoire, puisque la structuration du vivant remonte au-delà de la
préhistoire, à plus d’un milliard d’années. Donc la méthode
syllogistique que nous aimons tous au Master Mind, celle que nous a
transmise l’Évolution (ou le Créateur), c’est en fait la plus
puissante, car elle seule permet de surmonter le
mur exponentiel des
examens exhaustifs. Mais pour le Master Mind, il y a un petit
mirage : en fait, depuis disons deux décennies, nos ordinateurs sont
déjà assez puissants pour lire 50000 mots en une fraction de
seconde. C’est presque de la triche, c’est un peu comme si l’on
demandait à une automobile de faire 100 mètres dans la rue : trop
fastoche ! Mais il en est tout à fait autrement pour, disons, le
problème du voyageur de commerce (P versus NP), ou encore
provisoirement, pour le go, après qu’en été 1997, Deep Blue a
battu Kasparov mais avec l’aide très substantielle d’une mise en
mémoire de milliers de parties jouées auparavant par des humains, un
peu comme le dictionnaire
de mots possibles pour le Master Mind. Pour terminer ces
remarques spontanées, certains logicistes auraient bien aimé dans les
premières années du vingtième siècle ramener l’arithmétique à un
examen de toutes les formules que l’on peut écrire en langage formel pour
ne conserver que celles qui fournissent de vrais théorèmes, mais cette
idée est en fait tristement stupide : il y a déjà beaucoup plus de
combinaisons possibles $26^{80}$ de 26 lettres dans une
seule ligne que d’atomes ($<< 10^{100}$) dans tout l’univers
observable ! 50000 mots, ce n’est rien, maintenant, mais $26^{80}$
restera éternellement au-delà d’une borne supérieure raisonnable.

Parabole du Grand Master Mind Universel des Mathématiques

La recherche en mathématiques, c’est poser indéfiniment ses
pions multicolores afin de tester ses idées devant le Grand Inconnu
qui résiste.

Conclusion de ces observations

Donc au total, la proposition de Xavier Caruso : programmer des
syllogismes subtils pour jouer au Master Mind, cette proposition reste
de très loin la meilleure idée, et c’est bien pour ces raisons
profondes que la vie et la société ne peuvent se dispenser de
brillants chercheurs en mathématiques.

Épi-provocatologue

Re-terminons une seconde fois en citant une provocation pénétrante
d’un célèbre GéoMaître, qui ne sera pas—isn’t it ?—complètement
hors-sujet.

Mikhail Gromov :
Think of those computers playing chess. They
certainly play better than maybe one or two people in the world, but
we still can play chess because we like it.

Rémi Langevin : Right.

Mikhail Gromov :
It changes completely the attitude towards
chess. I do not think chess will exist seriously in another thirty
years. Computers do it better, it is not interesting. Imagine if that
happens to mathematics. If computers do it really better it would be
some different kind of mathematics maybe.

Poincaré en 1908 dans son allocution "L’avenir des
mathématiques" au Congrès International des Mathématiciens
n’avouait-il pas aussi qu’il n’était qu’un joueur d’échecs de niveau très
moyen ?

Je vous félicite pour ce billet qui me paraît un agréable partage de réflexions.

J’ai été assez étonné par l’efficacité de l’algorithme appliqué au go, je trouve que l’idée a été inspirée d’un algorithme de jeu de Dames et a été adaptée.

En ce qui concerne le Master Mind, je dirai, de prime abord, qu’il a été question d’un bras de fer entre contraintes et taille du problème. L’ordinateur a été plus à l’aise avec le second programme puisqu’il comporte UNE contrainte qu’il a su gérer, c’est vrai que dans le monde des humains on peut se laisser influencer par la taille du dictionnaire mais pas dans le monde des ordinateurs.

Par contre votre premier algorithme (intuitif) est plus adapté pour les humains parce que notre cerveau a tendance à minimiser la taille du problème avec des raisonnements aussi imbriqués que nécessaire, et on a tellement l’habitude de le faire qu’on sous estime la vrai complexité de cette opération.