D’une simplicité déconcertante

Le 9 décembre 2009 - Ecrit par Xavier Caruso Voir les commentaires (8)

Un problème étant posé, on dispose souvent de plusieurs méthodes pour le résoudre. Les plus naïves ne sont en général pas très efficaces, mais elles peuvent parfois l’être bien plus qu’on aurait pu le penser. Dans ce billet, quelques exemples qui, j’espère, vous étonneront !

Un problème étant posé, on dispose souvent de plusieurs méthodes — on dit parfois algorithmes lorsqu’elles ressemblent à une suite d’instructions très précises — pour le résoudre. Les plus naïves ne sont en général pas très efficaces, et il est souvent intéressant de réfléchir un peu avant de se lancer. Voici un exemple idiot : si l’on vous demande de calculer $13+13+13+13+13+13+13$, il vaut mieux commencer par transformer l’opération en une multiplication et poser cette dernière. On peut
dériver presque à l’infini ce type d’exemples, et il y a d’ailleurs toute une branche de l’informatique — appelée algorithmique — qui propose des solutions objectives pour évaluer les algorithmes et cherche à obtenir les plus efficaces.

Mais, de façon plus étonnante, il existe aussi des cas où une méthode a priori naïve [1] s’avère incroyablement efficace. Dans ce billet, j’aimerais vous montrer quelques exemples.

Le Master Mind

Comme tout billet n’est somme toute qu’une occasion supplémentaire donnée à l’auteur de raconter sa vie, c’est tout naturellement que je commence par une expérience personnelle.

Il y a quelques années, j’avais eu envie de programmer un solveur de Master Mind. Il ne s’agit pas de la version du Master Mind avec les couleurs que vous connaissez peut-être, mais d’une variante avec des mots dont voici la règle. Un meneur du jeu choisit un mot de cinq lettres dans lequel aucune lettre n’apparaît deux fois [2] et le garde secret. Les autres joueurs proposent ensuite des mots. Pour chacun d’eux, le meneur du jeu indique combien de lettres apparaissent dans le mot à trouver à la bonne place, et combien apparaissent à des places différentes. Le but du jeu est de retrouver le mot mystérieux avec le plus petit nombre possible de propositions. Avec un peu d’entrainement, je pense que l’on arrive à retrouver le mot au bout du sixième ou septième essai (ou avant si on a de la chance ou si on est très fort).

J’avais donc voulu, disais-je, écrire un petit logiciel qui, selon les règles précédentes, trouverait un mot choisi par l’utilisateur en un nombre d’essais assez réduits. Vous savez probablement que lorsque l’on joue à Master Mind (avec des couleurs ou des lettres, peu importe), on raisonne sur la position des différentes lettres et on déduit tour à tour quelle lettre se trouve ou ne peut pas se trouver à tel endroit. Typiquement, voici ce que l’on peut se dire :

« d’après le deuxième mot proposé, il y a un A ou un E dans le mot ; or, si c’est un A, il ne peut pas être à la première place sinon il aurait été bien placé dans le troisième mot, etc. », ou encore

« pour tester cette possibilité, il faudrait que je propose un mot avec un S en quatrième position et dont je sais déjà ce qu’il en est des autres lettres ».

J’ai donc essayé d’apprendre à l’ordinateur à mener des raisonnements de ce genre, et je n’ai pas connu, hélas, un très grand succès dans cette entreprise. Bien sûr, j’ai réussi à lui enseigner comment faire telle ou telle déduction précise mais il restait systématiquement des « évidences »
à côté desquelles il passait. Au final, le programme n’était pas très performant : il n’arrivait à conclure qu’au bout d’un grand nombre d’essais.

J’ai donc décidé de questionner quelques uns de mes amis, et l’un d’eux m’a suggéré la méthode radicalement différente que voici. Au début, le logiciel soumet le mot du dictionnaire de son choix (par exemple le premier). La réponse du meneur du jeu élimine bien évidemment un certain
nombre de mots. Le logiciel se contente alors d’effacer ces mots du dictionnaire et propose un mot de son choix parmi ceux qui restent (par exemple à nouveau le premier). Et ainsi de suite jusqu’à tomber sur le bon mot.

Je ne vous cache pas que j’ai commencé par être très étonné par cette proposition [3]. En effet, il semble quand même que
l’information essentielle dont on dispose s’organise autour de la position des lettres, alors que la proposition de mon collègue faisait totalement abstraction de cela. Malgré tout, j’ai programmé l’algorithme de mon collègue et, comme vous pouvez vous en douter maintenant, fus complètement abasourdi de constater qu’il fonctionnait à merveille : il trouvait le mot en moyenne en cinq essais si je me rappelle bien.

J’avoue que je n’ai toujours pas bien compris encore aujourd’hui pourquoi cette méthode est aussi efficace. Mais j’ai quand même appris quelque chose : j’ai appris qu’il ne faut jamais rejeter a priori les idées qui (me) paraissent absurdes au premier abord. Celles-ci comme les autres ont le droit d’être examinées avec autant d’attention que leurs consœurs. Bien sûr, elles seront examinées sans doute après dans la démarche de recherche [4], mais il faut toujours un argument irréfutable si on veut l’écarter définitivement.

Quand le hasard s’en mêle

Pour ajouter un peu de piquant au jeu, il est bien connu qu’il suffit d’ajouter un peu de hasard. Comme deuxième exemple, j’aimerais donc reprendre ce billet dans lequel on parlait d’un nouveau logiciel jouant particulièrement bien au go [5]. Cela pourrait paraître banal si ce n’est que la méthode utilisée pour y parvenir peut avoir de quoi surprendre.

Je vous renvoie au billet de mon collègue pour une explication un peu plus détaillée de ladite méthode, mais laissez-moi vous rappeler ci-dessous comment elle fonctionnait dans les grandes lignes. Pour savoir quel prochain coup jouer, on simulait un grand nombre de parties
totalement aléatoires (partant de la position en question) puis choisissait le coup pour laquelle la proportion de parties [6] gagnées commençant par ce coup (parmi toutes les parties commençant par ce coup) était maximale [7]. Autrement dit, on part de l’idée
que le plateau étant dans une position donnée, deux champions (qui jouent en partant de cette position) feront « en moyenne » le même résultat que deux débutants qui jouent au hasard. Et cela semble fonctionner !

À vrai dire, produire des exemples dans lesquels le hasard a un certain côté déroutant est quelque chose de relativement aisé tant notre cerveau en a une conception naturelle faussée. Peut-être donc que cet exemple n’illustre pas vraiment mon propos, mais il n’empêche que je le trouve très troublant.

L’algorithme pagerank de Google

Lorsque vous soumettez une requête à un moteur de recherche, celui-ci fouille tout le web pour trouver les pages correspondant à vos mots clés [8] puis trie ces pages selon leur pertinence. La deuxième étape est bien sûr aussi importante — si ce n’est plus — que la première. Être capable de classer les pages en
fonction de leur qualité apparaît donc comme une question de toute première importance.

Évidemment, il n’est pas envisageable de confier à une personne (ou même un groupe de personnes) la responsabilité de lire toutes les pages web et de noter chacune d’elles en fonction de leur intérêt. Éventuellement, ça pourrait l’être si le travail devait être fait une unique fois, mais
ce n’est pas du tout le cas car, ne l’oubliez pas, le web évolue continuellement. Il faut donc trouver des critères automatiques pour effectuer ce classement et pour cela, il semble a priori nécessaire
d’apprendre à l’ordinateur à lire et comprendre les différentes pages [9]... ce qui n’est pas encore à l’ordre du jour.

Mais pourtant la plupart des moteurs de recherche, et notamment Google, ont trouvé des solutions qui fonctionnent en général plutôt bien. La méthode de Google a déjà fait l’objet de nombreux articles (notamment un sur ce site) ; aussi ne vais-je pas encore une fois la détailler mais simplement me contenter de rappeler brièvement son principe. L’idée est de classer les pages simplement en fonction des liens qu’on y trouve. De façon légèrement plus précise, on attribue à chaque page une note qui est à peu près le nombre de fois qu’elle est référencée (c’est-à-dire directement accessible depuis une autre page) [10]. Cela paraît à première vue plutôt naïf : une page pourrait être très intéressante mais jamais citée (par exemple parce que personne ne l’a encore remarqué, ou parce qu’il s’agit d’un sujet très pointu dont peu de gens parlent) ou au contraire affligeante mais très souvent citée (par exemple beaucoup de gens pourraient la citer justement pour montrer l’exemple à ne pas suivre). L’algorithme de Google ne prend pas en compte ce type de considérations qu’il ne cherche même pas à comprendre ; il effectue simplement un calcul numérique à partir du décompte de nombre de liens, notamment sans jamais tenir compte du sens.

Et pourtant, vous pouvez constater chaque jour que cela fonctionne assez bien : par exemple, lorsque vous recherchez « gâteau chocolat », vous tombez en premier sur des recettes de gâteaux au chocolat en général acceptables, et seulement plus tard sur <a
href="http://www.facebook.com/pages/Gateau-au-chocolat/101369930598">cette page. Finalement, tout se passe comme si Google avait interprété correctement ce que vous vouliez et avait bien répondu à votre attente : le sens qui semblait avoir été perdu dans la notation réapparaît au final de façon un peu magique mais indéniable.

L’évaluation bibliométrique des chercheurs ?

Depuis quelques temps, vous ne l’avez sans doute pas raté, il est de plus en plus question d’évaluer les chercheurs à l’aide de critères bibliométriques. L’idée est que plutôt que de s’embêter à lire, comprendre et étudier les articles de chacun, on va se contenter de compter combien il y en a. En pondérant éventuellement par des nombres « bien choisis » (qui peuvent dépendre du nombre de pages ou de la revue dans laquelle l’article est publié), on fabrique une note qui permet de juger de la qualité du chercheur, voire même de classer ces derniers.

Évidemment, comme vous l’avez sans doute déjà entendu, beaucoup de mes confrères crient au scandale [11] jugeant la méthode beaucoup trop simpliste. Il semble difficile de leur
donner tort, je le reconnais... mais pourtant, au vu de ce qui précède et en particulier de mon baratin sur l’algorithme de Google, j’avoue que l’argument « C’est trop simple ! » ne me convainc pas totalement. C’est pourtant celui qui est le plus couramment utilisé, et je pense que si la
communauté mathématique veut pleinement s’opposer au principe de l’évaluation bibliométrique, il lui appartient de faire un effort pour étayer son principal argument.

Personnellement, je serais content de pouvoir lire — voire même savoir simplement qu’il existe — une étude (une étude statistique par exemple) qui montre clairement que les résultats fondés (uniquement) sur la bibliométrie diffèrent sensiblement de ceux fondés sur des méthodes
plus traditionnelles. Bien entendu, on peut toujours donner l’exemple du chercheur qui n’a rien publié pendant cinq ans, et reçoit la médaille Fields la sixième année. Mais, je pense qu’il est aussi possible de trouver des pages extraordinaires qui sont mal référencées par Google. Si l’on souhaite s’en tenir aux médaillés Fields qui publient peu, je pense qu’il faudrait au moins montrer que leur proportion est d’une façon ou d’une autre significative...

Comprenez-moi bien : je ne cherche pas à faire l’apologie des critères bibliométriques, mais plutôt à exprimer ma frustration devant la teneur des critiques qui lui sont faites habituellement. Il existe malgré tout d’autres arguments classiques utilisés par les opposants que je trouve légèrement plus pertinents (sans être pour autant incontestables selon moi).

Le premier auquel je pense est lié à l’enjeu. Autant se lancer dans le développement d’un moteur de recherche « bibliométrique » (de type Google) sans être certain du résultat n’est pas très dangereux, autant appliquer à grande échelle l’évaluation bibliométrique peut conduire à sacrifier toute une génération de mathématiciens. C’est certes un point délicat, mais on peut opposer à cela — ce que l’on fait d’ailleurs traditionnellement — que ce n’est pas en ne rien faisant que l’on aura une réponse.

Le deuxième argument que j’aimerais évoquer se résume par la doctrine « Attention, l’instrument de mesure perturbe la mesure ! » bien connue de tous les physiciens. Dans notre cas, cela signifie qu’à abuser des critères bibliométriques, les mathématiciens seront incités à user de techniques un peu sournoises pour augmenter la quantité de leur production, comme notamment le fait d’écrire plusieurs papiers dans des revues différentes pour présenter le même résultat, ou des variations minimes d’un unique théorème. On peut même penser que certains mathématiciens naturellement plus doués pour ce genre de jeux seront favorisés aux dépens des autres qui sont pourtant plus performants sur le plan de la recherche. En continuant le raisonnement, on peut même craindre de voir émerger des sociétés spécialisées dans la promotion des théorèmes mathématiques à l’instar des sociétés spécialisées qui vous proposent leur service pour booster le classement de votre page web sur Google. Si vous préférez, on a un peu peur de voir se développer — ou peut-être même réapparaître — le marché de la publicité au sein de la science avec les conséquences que cela implique. Par exemple, et en caricaturant volontairement, dans 50 ans, un laboratoire très riche pourra-t-il imposer que dorénavant $2+2 = 5$ ?

Je ne sais pas bien ce qu’il faut penser de tout cela, mais si l’on reprend la comparaison avec le web, autant il est clair que la présence de Google a une très grande influence (notamment par le fait que beaucoup de gens s’inquiètent de leur classement dans le moteur de recherche), autant je n’ai pas vraiment l’impression qu’en son absence le contenu des pages web aurait été autrement meilleur [12]. Jusqu’à quel point peut-on poursuivre le parallèle dans le monde de la science, ou de façon plus restrictive dans celui des mathématiques ? C’est une question à laquelle je n’ai pas de réponse.

Notes

[1] Par exemple simpliste, ou aussi qui n’utilise pas toute l’information à disposition.

[2] Dans la suite, lorsque je dirai « mot », il sera toujours sous-entendu qu’il s’agit d’un mot de cinq lettres dans lequel aucune lettre n’apparaît deux fois.

[3] Enfin, je ne doutais pas que l’on arrive comme ceci à trouver le mot mystérieux, mais je pensais que le nombre de propositions avant d’y arriver serait immense.

[4] En général, on commence par le chemin dont on pense qu’il a le plus de chance d’aboutir.

[5] Particulièrement bien pour un programme informatique. Il faut savoir que, contrairement aux échecs par exemple, au go, les meilleurs humains sont bien plus forts que les meilleurs logiciels.

[6] Les parties aléatoires simulées, j’entends

[7] En fait, je ne suis pas vraiment au courant de l’algorithme exact, et j’imagine qu’en vrai, de nombreuses corrections viennent se fixer sur la trame générale que je viens de décrire.

[8] Ce travail de fouille est bien sûr fait en amont et les résultats sont très soigneusement triés et référencés de façon à pouvoir y accéder ensuite le plus rapidement possible.

[9] En général, on s’attend à ce que ce soit un préliminaire à la notation. On n’imagine pas par exemple un professeur noter correctement ses copies sans les comprendre.

[10] On attribue en fait un poids différent à chaque lien en fonction de la page depuis laquelle il pointe, ce poids étant lui-même (proportionnel à) une note
jugeant de la qualité de chaque page à émettre des liens pertinents. Comprenez bien que le serpent ne se mord pas la queue dans le sens où l’on n’a pas besoin d’attribuer d’abord ces deuxièmes notes. En fait, tout se fait en même temps : on commence par attribuer la note de pertinence à chaque page, on les utilise pour attribuer la deuxième note, on utilise ensuite ces nouvelles données pour corriger les premières notes, ce qui permet maintenant de recorriger les deuxièmes notes, et ainsi de suite jusqu’à ce que le tout se stabilise. Enfin, peu importe, ce n’est pas essentiel pour la suite de mon propos.

[11] Avec quand même quelques petites nuances. Par exemple, certains rejettent complètement la méthode, tandis que d’autres, tout en reconnaissant ses défauts et qu’elle
n’est pas adaptée pour l’évaluation individuelle des chercheurs, pensent qu’elle peut-être utilisée — au moins en partie — pour évaluer des structures plus grosses comme des laboratoires, ou même des pays.

[12] Bien sûr, quoique l’on fasse maintenant, Google existe... donc ma phrase n’a pas vraiment de sens, mais vous comprenez je pense ce que je veux dire par là.

Commentaire sur l'article

D’une simplicité déconcertante

le 9 décembre 2009 à 11:49, par Jean-Marc Schlenker

Très joli billet qui choisit une approche originale et assez subtiles pour aborder des questions complexes.

Concernant la bibliométrie c’est vrai qu’elle présente un paradoxe apparent entre la simplicité des instruments qu’elle propose (au moins pour certains) et l’importance qui leur est de plus en plus donnée. C’est d’autant plus important d’essayer d’en comprendre les enjeux et d’en faire une critique mesurée et raisonnée. Or je suis frappé par le rejet massif de la bibliométrie de la part de certains mathématiciens, rejet parfois extrème qui contraste avec l’utilisation désormais quotidienne qu’en font les scientifique de certaines disciplines.

Je crois comme la plupart de mes collègues que l’évaluation individuelle des mathématiciens devrait éviter (ou n’utiliser que de manière limitée) les outils bibliométriques, pour deux raisons soulignées dans le billet : le risque d’erreurs (en particulier pour évaluer les jeunes chercheurs) et surtout les incitations perverses que ça pourrait donner (en gros, publier et communiquer plutôt que chercher). Ce problème des incitations perverses est peut-être plus grave en maths que dans d’autres disciplines.

Par contre, pour les évaluations collectives de structures de taille suffisante, le rejet de l’utilisation raisonnée d’outils bibliométriques adaptés (par des experts scientifiquement compétents) me paraît moins évidente. En particulier pour une raison pratique :
il me semble que ces évaluations reposent souvent in fine sur des évaluations quantitatives intuitives (on ne peut pas lire tous les papiers, donc on regarde où ils sont publiés, s’ils semblent avoir une visibilité suffisante dans la communauté, etc). Or des outils bien formalisés feraient le même travail avec des résultats plus fiables. Une fois obtenus, des indicateurs peuvent être corrigés/complétés par une analyse fine faite par des experts scientifiquement compétents.

Un autre avantage des outils bibliométriques est qu’ils peuvent servir de garde-fous, en obligeant les experts (qui ne sont pas toujours infiniment vertueux ou compétents) à justifier leurs choix. Supposons par exemple que dans une commission, l’expert A présente le dossier de B, ami de longue date de A, en expliquant qu’il publie peu mais que c’est une autorité de premier plan dans son domaine et que ses travaux des années 80 fot référence. Si un autre membre de la commission s’aperçoit que B n’a été cité que 3 fois en tout au cours des 15 dernières années (exemple vécu), l’argument de A a, au moins, besoin d’être justifié de manière particulièrement solide...

Il y a plusieurs raisons au rejet de la bibliométrie par certains mathématiciens, il me semble que la principale est la crainte qu’elle ne permette à des extérieurs (scientifiques d’autres disciplines, technocrates) de mettre leur nez dans nos affaires et d’avoir une opinion sur la qualité de nos recherches. Il me semble pourtant que le véritable danger (avéré) est qu’ils ne le fassent de manière malhabile et inadaptée à notre discipline, et n’arrivent à des conclusions erronnées. La meilleure réponse serait non pas de refuser en bloc tous les outils bibliométriques (combat probablement perdu d’avance) mais bien d’en proposer de bons, adaptés aux mathématiques, en expliquant parallèlement de quelle manière ils peuvent, ou ne peuvent pas, être utilisés.
Répondre à ce message
D’une simplicité déconcertante

le 9 décembre 2009 à 15:02, par Aurélien Djament

Bonjour à tous,

Une réponse partielle au commentaire de Jean-Marc Schlenker, qui est « frappé par le rejet massif de la bibliométrie de la part de certains mathématiciens, rejet parfois extrème qui contraste avec l’utilisation désormais quotidienne qu’en font les scientifique de certaines disciplines. »

C’est peut-être justement l’usage qui est fait dans d’autres disciplines de la bibliométrie qui incite les mathématiciens à ne surtout pas vouloir suivre la même voie ! Pour illustration, j’étais récemment à une formation du CNRS destinée à des physiciens et mathématiciens récemment recrutés. Lors d’une séance abordant la bibliométrie, le rejet de cette pratique fut massif, voire totalement unanime, parmi les nouveaux recrutés. Et pas moins parmi les physiciens, où la bibliométrie est plus utilisée, que les mathématiciens. Une collègue a même cité en exemple à ne pas suivre une audition dans un concours d’entrée dans un organisme de recherche où un membre du jury avait calculé devant elle son facteur H, expliquant qu’elle avait probablement été avantagée par une homonymie. L’expérience de la pratique courante de la bibliométrie ne signifie pas forcément adhésion, bien au contraire !

Par ailleurs, je ne partage pas l’idée que « Ce problème des incitations perverses est peut-être plus grave en maths que dans d’autres disciplines. » Plusieurs études ont montré que de nombreux chercheurs reconnaissent « trafiquer » leurs résultats, notamment dans les domaines où les applications industrielles sont importantes. Bien sûr, dans ce cas, la bibliométrie n’est pas la seule incitation, mais son utilisation pour l’évaluation d’une recherche participe de la même vision de la recherche que le financement sur projets ou sur résultats qui rend tentant d’« embellir » ceux qu’on a réellement obtenus. Je ne suis pas sûr que cela soit moins grave pour de la recherche médicale, par exemple, qu’en mathématiques... Sans bien sûr vouloir minimiser la nuisance très grave qu’occasionnerait le recours généralisé aux indicateurs bibliométriques en math. (publier une démonstration longue et technique qu’on sait pertinemment incomplète, mais avec un « trou » difficile à repérer, peut amener par ricochet à des catastrophes matérielles quelques années plus tard, au moins si le résultat faux est utilisé directement ou indirectement pour des applications matérielles).

Cordialement,

A.D.
Répondre à ce message

D’une simplicité déconcertante

le 12 décembre 2009 à 21:18, par Jean-Marc Schlenker

Sur le premier point il me semble que le problème, dans l’exemple donné, ne provient pas de ce que des outils bibliométriques sont utilisés, mais de ce que ce sont des indicateurs douteux et utilisés de manière inadaptée. Je suis tout à fait d’accord sur le danger qu’il y a à de telles utilisations, et sur la nécessité d’essayer de les contrôler. Utiliser le h-indice pour évaluer (et éventuellement recruter) de jeunes chercheurs semble particulièrement maladroit (mais je ne veux pas porter de jugement sur les pratiques de collègues d’autres disciplines que je ne connais guère).

Je répète que l’utilisation d’arguments bibliométriques est largement généralisée dans la plupart des disciplines scientifiques. Par exemple je participe chaque mois aux réunions de la commission des habilitations de mon université (une grande université scientifique de province). Dans certaines disciplines, les rapports d’habilitation contiennent presque systématiquement des données bibliométriques (impact factor des journaux où les articles sont publiés, parfois h-indice ou des variantes). Je crois que je suis le seul dans cette commission à ne pas vouloir utiliser (pour les maths) des indicateurs bibliométriques. Quand j’explique à mes collègues qu’ils ne me semblent pas adaptés aux évaluations individuelles, certains me regardent d’un air peiné qui semble dire « ces matheux sont décidément bien excentriques » (ou bien : « ces matheux n’ont vraiment rien compris au monde moderne, ils vivent encore au moyen âge », ou pire). (Evidemment j’utilise moi-même une heuristique « pré-bibliométrique » : si un dossier contient quelques papiers post-thèse acceptés dans de très bons journaux, il est presque certain qu’il ne va pas poser de problème.)

Sur le second point est-ce que le problème provient vraiment de la bibliométrie ? Il me semble plutôt qu’il provient de l’existence d’un système d’incitations, qui apporte des avantages variés (postes, promotions, financements, etc) aux scientifiques qui obtiennent plus de résultats. Quelle que soit la manière d’évaluer (bibliométrique ou autre) des scientifiques peu consciencieux seront tentés d’« embellir » leurs résultats, non ? Les incitations perverses dont je parlais sont plus circonscrites : si par exemple on évalue les mathématiciens en fonction du nombre de citations qu’ils reçoivent, ça les encourage à passer plus de temps à communiquer sur leurs résultats qu’à les obtenir.
Répondre à ce message

D’une simplicité déconcertante

le 9 décembre 2009 à 20:06, par Jean-Paul Allouche

Joli article en effet. L’exemple de Google montre à la fois l’intérêt et les limites des procédures automatiques (surtout si elles sont utilisées sans recul). Sur les questions de bibliométrie : il existe une recherche en bibliométrie qui montre les biais de telle ou telle mesure mais qui — malheureusement — semble admettre comme certains collègues qu’on peut à force de perfectionnement et de réflexion fabriquer un indice pertinent, intelligent, efficace etc. C’est évidemment absurde que de vouloir « quantifier la qualité ». La vraie question, en amont, est de savoir pourquoi on veut quantifier. Réfléchissons aux vraies raisons et convenons qu’elles ne sont guère reluisantes. Pour comprendre les enjeux politiques (plus dans le cas des sciences humaines il est vrai), on lira avec profit le numéro 37 (2009) de la revue Cités,
intitulé « L’idéologie de l’évaluation. La grande imposture ».
(Voir ici, et dans toutes les bonnes librairies.)
Répondre à ce message
D’une simplicité déconcertante

le 10 décembre 2009 à 00:47, par Jérôme Buzzi

Que penser de tout cela ? Google a tranché ! Sur la demande « la bonne evaluation de la recherche », il indique en no. 1 :

http://www.lesechos.fr/info/analyses/02076600028-la-bonne-methode-d-evaluation-des-chercheurs.htm

ite missa est.

Ma démarche est simpliste mais à vous, cher lecteur, d’en démontrer l’inanité.
Répondre à ce message

D’une simplicité déconcertante

le 10 décembre 2009 à 07:32, par Xavier Caruso

Ah, très bonne réponse ! Même si elle aura peut-être du mal à convaincre les politiques.

Merci en tout cas de l’avoir proposée !
Répondre à ce message

Parabole du Grand Master Mind Universel des Mathématiques

le 11 décembre 2009 à 13:33, par Joël Merker

Entrelacements

Au jeu du Master Mind, pourquoi la programmation de syllogismes de
recherche est-elle si difficile à implémenter, demande Xavier Caruso ?
Pourquoi la méthode « brutale » de recherche-élimination dans le
dictionnaire est-elle plus performante ? Ces interrogations
s’inscrivent dans un problème philosophique plus général qui va
s’accentuer et se complexifier considérablement dans l’avenir : comment
donc en effet, dans les cinq prochaines décennies, va-t-on voir
se positionner les unes vis-à-vis des autres, d’un côté les
activités humaines de la pensée, et de l’autre côte les machines
électroniques sans pensée ? Problème très difficile, et avec internet
tout autour de nous, qui d’entre nous ne réfléchit pas chaque
jour à ce problème, ne serait-ce qu’ inconsciemment ?

Simplicités

Mais quant au Master Mind, ce jeu très attrayant auquel, adolescents
et mathématiciens débutants, nous avons tous excellé, voici quelques
observations que l’on pourra qualifier de simples. [By the way,
un colloque intitulé :

Simplicity as an Epistemological Value in Scientific Practice
www.paris-iea.fr

aura lieu le 8 et le 9 janvier à l’Institut d’Étude Avancées de
Paris. Avis aux amateurs de concepts généraux !]

Google n’a pas de cervelle propre

Premièrement, notre cerveau est clairement incapable de passer en
revue en un dixième de seconde les $2400$ mots du Petit Robert,
de sélectionner seulement ceux qui ont cinq lettres, et ensuite, à
chaque réponse que donnera le meneur de jeu à l’une des questions-test
que nous lui poserions, de reparcourir à nouveau tous les mots
restants de cinq lettres et au même moment en un dix-millième de
seconde pour chaque mot, ou bien d’éliminer le mot qui est lu, ou bien de
le conserver en fonction d’un critère prédéfini et
constant. D’ailleurs, notre cerveau n’est pas du tout programmé pour
exécuter de telles tâches qui sont fondamentalement mécaniques. Qui
songerait en effet à prendre le départ d’un 10\,000 mètres en
compétition avec un TGV Est sur le couloir de gauche ?

Héritiers de millions de milliards de gestes

La méthode « simple » n’est donc pas si simple : il y a
encore moins d’une cinquantaine d’années, elle aurait été impensable !
Notre pratique des ordinateurs méconnaît habituellement le fait
que ces machines compressées jusqu’aux échelles microscopiques du
monde physique local qui nous est acessible ont été construites,
pensées, améliorées sur un temps extrêment long, avec la
contribution de milliers, voir de dizaines de milliers
d’ingénieurs-informaticiens. Le geste si simple aujourd’hui pour le
jeune programmateur en herbe : "donnez-moi toutes les décimales de
$\pi$ jusqu’à la 10001-ème" contient en lui plusieurs dizaines
de millions de gestes lents, difficiles et hésitants des concepteurs
de machines étalés sur presque un siècle. Lukas a consacré presque 20
ans de sa vie à calculer les 26 premières décimales de $\pi$
avec la méthode d’exhaustion d’Archimède. Son nom en allemagne est
resté attaché à la demi-circonférence du cercle unité, mais que dire
l’étudiant lambda qui s’émerveille d’un prétendu pouvoir magique sur
Maple, sur Mathematica ou sur n’importe quel software de calcul
électronique, sinon qu’il est bien naïf de croire que son
destin est fondamentalement différent des mathématiciens qui
calculaient à la main ? En effet, tout est seulement une question
d’ échelle, les mathématiques sont infinies, et l’utilisation des
calculateurs électroniques ne fait que repousser la limite du
faisable. La recherche en mathématique est réellement un chantier
inépuisable, et fort heureusement !

Faust du temps long

Impossible de ne pas citer Hegel ici.

"C’est là assurément un temps fort long, et la longueur du
temps que requiert l’esprit pour se procurer la philosophie est ce qui
peut ébranler. J’ai dit au commencement que notre philosophie
d’ aujourd’hui n’est pas autre chose que le résultat du
travail de tous les siècles."

Stop !
Avons-nous bien lu cette phrase ? Lisons-la, relisons-la, méditons-la,
et reméditons-la !
Moment, please ! It’s so good,
it’s so great to read that !

"Il faut savoir, quand on est frappé d’un temps si long, que cette
longueur de temps a été utilisée pour acquérir ces concepts—non tant
jadis que maintenant. Il faut savoir en général que l’état du monde,
d’un peuple, dépend du concept qu’il possède de lui-même ; le
royaume de l’esprit n’est pas comme un champignon qui pousse en une
nuit ; qu’il y ait eu besoin d’un temps si long ne frappe que
lorsqu’on ne connaît pas la nature et l’importance de la philosophie
et qu’on n’y prête pas attention [...]"

G.W.F. Hegel Leçons sur l’histoire de la philosophie,
Introduction, Bibliographie, Philosophie Orientale, Traduction de
Gilles Marmasse, Paris, Librairie philosophie J. Vrin, 2004, 207 pp.

Mirages de la mémoire englobante

Deuxièmement, notre être biologique est principalement structuré
pour se mouvoir dans un univers d’options exponentielles en se posant
des questions pour décider de chaque acte. Cela aussi, c’est le fruit
d’un temps long, mais en fait extrêment plus long que celui de
l’Histoire, puisque la structuration du vivant remonte au-delà de la
préhistoire, à plus d’un milliard d’années. Donc la méthode
syllogistique que nous aimons tous au Master Mind, celle que nous a
transmise l’Évolution (ou le Créateur), c’est en fait la plus
puissante, car elle seule permet de surmonter le
mur exponentiel des
examens exhaustifs. Mais pour le Master Mind, il y a un petit
mirage : en fait, depuis disons deux décennies, nos ordinateurs sont
déjà assez puissants pour lire 50000 mots en une fraction de
seconde. C’est presque de la triche, c’est un peu comme si l’on
demandait à une automobile de faire 100 mètres dans la rue : trop
fastoche ! Mais il en est tout à fait autrement pour, disons, le
problème du voyageur de commerce (P versus NP), ou encore
provisoirement, pour le go, après qu’en été 1997, Deep Blue a
battu Kasparov mais avec l’aide très substantielle d’une mise en
mémoire de milliers de parties jouées auparavant par des humains, un
peu comme le dictionnaire
de mots possibles pour le Master Mind. Pour terminer ces
remarques spontanées, certains logicistes auraient bien aimé dans les
premières années du vingtième siècle ramener l’arithmétique à un
examen de toutes les formules que l’on peut écrire en langage formel pour
ne conserver que celles qui fournissent de vrais théorèmes, mais cette
idée est en fait tristement stupide : il y a déjà beaucoup plus de
combinaisons possibles $26^{80}$ de 26 lettres dans une
seule ligne que d’atomes ($<< 10^{100}$) dans tout l’univers
observable ! 50000 mots, ce n’est rien, maintenant, mais $26^{80}$
restera éternellement au-delà d’une borne supérieure raisonnable.

Parabole du Grand Master Mind Universel des Mathématiques

La recherche en mathématiques, c’est poser indéfiniment ses
pions multicolores afin de tester ses idées devant le Grand Inconnu
qui résiste.

Conclusion de ces observations

Donc au total, la proposition de Xavier Caruso : programmer des
syllogismes subtils pour jouer au Master Mind, cette proposition reste
de très loin la meilleure idée, et c’est bien pour ces raisons
profondes que la vie et la société ne peuvent se dispenser de
brillants chercheurs en mathématiques.

Épi-provocatologue

Re-terminons une seconde fois en citant une provocation pénétrante
d’un célèbre GéoMaître, qui ne sera pas—isn’t it ?—complètement
hors-sujet.

Mikhail Gromov :
Think of those computers playing chess. They
certainly play better than maybe one or two people in the world, but
we still can play chess because we like it.

Rémi Langevin : Right.

Mikhail Gromov :
It changes completely the attitude towards
chess. I do not think chess will exist seriously in another thirty
years. Computers do it better, it is not interesting. Imagine if that
happens to mathematics. If computers do it really better it would be
some different kind of mathematics maybe.

Poincaré en 1908 dans son allocution "L’avenir des
mathématiques" au Congrès International des Mathématiciens
n’avouait-il pas aussi qu’il n’était qu’un joueur d’échecs de niveau très
moyen ?
Répondre à ce message
D’une simplicité déconcertante

le 14 décembre 2009 à 16:35, par Youssef

Je vous félicite pour ce billet qui me paraît un agréable partage de réflexions.

J’ai été assez étonné par l’efficacité de l’algorithme appliqué au go, je trouve que l’idée a été inspirée d’un algorithme de jeu de Dames et a été adaptée.

En ce qui concerne le Master Mind, je dirai, de prime abord, qu’il a été question d’un bras de fer entre contraintes et taille du problème. L’ordinateur a été plus à l’aise avec le second programme puisqu’il comporte UNE contrainte qu’il a su gérer, c’est vrai que dans le monde des humains on peut se laisser influencer par la taille du dictionnaire mais pas dans le monde des ordinateurs.

Par contre votre premier algorithme (intuitif) est plus adapté pour les humains parce que notre cerveau a tendance à minimiser la taille du problème avec des raisonnements aussi imbriqués que nécessaire, et on a tellement l’habitude de le faire qu’on sous estime la vrai complexité de cette opération.
Répondre à ce message

Laisser un commentaire

Forum sur abonnement

Pour participer à ce forum, vous devez vous enregistrer au préalable. Merci d’indiquer ci-dessous l’identifiant personnel qui vous a été fourni. Si vous n’êtes pas enregistré, vous devez vous inscrire.

Connexion | s’inscrire | mot de passe oublié ?

L'auteur

Xavier Caruso