D’une simplicité déconcertante

Le 9 décembre 2009  - Ecrit par  Xavier Caruso Voir les commentaires (8)

Un problème étant posé, on dispose souvent de plusieurs méthodes pour le résoudre. Les plus naïves ne sont en général pas très efficaces, mais elles peuvent parfois l’être bien plus qu’on aurait pu le penser. Dans ce billet, quelques exemples qui, j’espère, vous étonneront !

Un problème étant posé, on dispose souvent de plusieurs méthodes — on dit parfois algorithmes lorsqu’elles ressemblent à une suite d’instructions très précises — pour le résoudre. Les plus naïves ne sont en général pas très efficaces, et il est souvent intéressant de réfléchir un peu avant de se lancer. Voici un exemple idiot : si l’on vous demande de calculer $13+13+13+13+13+13+13$, il vaut mieux commencer par transformer l’opération en une multiplication et poser cette dernière. On peut
dériver presque à l’infini ce type d’exemples, et il y a d’ailleurs toute une branche de l’informatique — appelée algorithmique — qui propose des solutions objectives pour évaluer les algorithmes et cherche à obtenir les plus efficaces.

Mais, de façon plus étonnante, il existe aussi des cas où une méthode a priori naïve [1] s’avère incroyablement efficace. Dans ce billet, j’aimerais vous montrer quelques exemples.

Le Master Mind

Comme tout billet n’est somme toute qu’une occasion supplémentaire donnée à l’auteur de raconter sa vie, c’est tout naturellement que je commence par une expérience personnelle.

Il y a quelques années, j’avais eu envie de programmer un solveur de Master Mind. Il ne s’agit pas de la version du Master Mind avec les couleurs que vous connaissez peut-être, mais d’une variante avec des mots dont voici la règle. Un meneur du jeu choisit un mot de cinq lettres dans lequel aucune lettre n’apparaît deux fois [2] et le garde secret. Les autres joueurs proposent ensuite des mots. Pour chacun d’eux, le meneur du jeu indique combien de lettres apparaissent dans le mot à trouver à la bonne place, et combien apparaissent à des places différentes. Le but du jeu est de retrouver le mot mystérieux avec le plus petit nombre possible de propositions. Avec un peu d’entrainement, je pense que l’on arrive à retrouver le mot au bout du sixième ou septième essai (ou avant si on a de la chance ou si on est très fort).

J’avais donc voulu, disais-je, écrire un petit logiciel qui, selon les règles précédentes, trouverait un mot choisi par l’utilisateur en un nombre d’essais assez réduits. Vous savez probablement que lorsque l’on joue à Master Mind (avec des couleurs ou des lettres, peu importe), on raisonne sur la position des différentes lettres et on déduit tour à tour quelle lettre se trouve ou ne peut pas se trouver à tel endroit. Typiquement, voici ce que l’on peut se dire :

  • « d’après le deuxième mot proposé, il y a un A ou un E dans le mot ; or, si c’est un A, il ne peut pas être à la première place sinon il aurait été bien placé dans le troisième mot, etc. », ou encore
  • « pour tester cette possibilité, il faudrait que je propose un mot avec un S en quatrième position et dont je sais déjà ce qu’il en est des autres lettres ».

J’ai donc essayé d’apprendre à l’ordinateur à mener des raisonnements de ce genre, et je n’ai pas connu, hélas, un très grand succès dans cette entreprise. Bien sûr, j’ai réussi à lui enseigner comment faire telle ou telle déduction précise mais il restait systématiquement des « évidences »
à côté desquelles il passait. Au final, le programme n’était pas très performant : il n’arrivait à conclure qu’au bout d’un grand nombre d’essais.

J’ai donc décidé de questionner quelques uns de mes amis, et l’un d’eux m’a suggéré la méthode radicalement différente que voici. Au début, le logiciel soumet le mot du dictionnaire de son choix (par exemple le premier). La réponse du meneur du jeu élimine bien évidemment un certain
nombre de mots. Le logiciel se contente alors d’effacer ces mots du dictionnaire et propose un mot de son choix parmi ceux qui restent (par exemple à nouveau le premier). Et ainsi de suite jusqu’à tomber sur le bon mot.

Je ne vous cache pas que j’ai commencé par être très étonné par cette proposition [3]. En effet, il semble quand même que
l’information essentielle dont on dispose s’organise autour de la position des lettres, alors que la proposition de mon collègue faisait totalement abstraction de cela. Malgré tout, j’ai programmé l’algorithme de mon collègue et, comme vous pouvez vous en douter maintenant, fus complètement abasourdi de constater qu’il fonctionnait à merveille : il trouvait le mot en moyenne en cinq essais si je me rappelle bien.

J’avoue que je n’ai toujours pas bien compris encore aujourd’hui pourquoi cette méthode est aussi efficace. Mais j’ai quand même appris quelque chose : j’ai appris qu’il ne faut jamais rejeter a priori les idées qui (me) paraissent absurdes au premier abord. Celles-ci comme les autres ont le droit d’être examinées avec autant d’attention que leurs consœurs. Bien sûr, elles seront examinées sans doute après dans la démarche de recherche [4], mais il faut toujours un argument irréfutable si on veut l’écarter définitivement.

Quand le hasard s’en mêle

Pour ajouter un peu de piquant au jeu, il est bien connu qu’il suffit d’ajouter un peu de hasard. Comme deuxième exemple, j’aimerais donc reprendre ce billet dans lequel on parlait d’un nouveau logiciel jouant particulièrement bien au go [5]. Cela pourrait paraître banal si ce n’est que la méthode utilisée pour y parvenir peut avoir de quoi surprendre.

Je vous renvoie au billet de mon collègue pour une explication un peu plus détaillée de ladite méthode, mais laissez-moi vous rappeler ci-dessous comment elle fonctionnait dans les grandes lignes. Pour savoir quel prochain coup jouer, on simulait un grand nombre de parties
totalement aléatoires (partant de la position en question) puis choisissait le coup pour laquelle la proportion de parties [6] gagnées commençant par ce coup (parmi toutes les parties commençant par ce coup) était maximale [7]. Autrement dit, on part de l’idée
que le plateau étant dans une position donnée, deux champions (qui jouent en partant de cette position) feront « en moyenne » le même résultat que deux débutants qui jouent au hasard. Et cela semble fonctionner !

À vrai dire, produire des exemples dans lesquels le hasard a un certain côté déroutant est quelque chose de relativement aisé tant notre cerveau en a une conception naturelle faussée. Peut-être donc que cet exemple n’illustre pas vraiment mon propos, mais il n’empêche que je le trouve très troublant.

L’algorithme pagerank de Google

Lorsque vous soumettez une requête à un moteur de recherche, celui-ci fouille tout le web pour trouver les pages correspondant à vos mots clés [8] puis trie ces pages selon leur pertinence. La deuxième étape est bien sûr aussi importante — si ce n’est plus — que la première. Être capable de classer les pages en
fonction de leur qualité apparaît donc comme une question de toute première importance.

Évidemment, il n’est pas envisageable de confier à une personne (ou même un groupe de personnes) la responsabilité de lire toutes les pages web et de noter chacune d’elles en fonction de leur intérêt. Éventuellement, ça pourrait l’être si le travail devait être fait une unique fois, mais
ce n’est pas du tout le cas car, ne l’oubliez pas, le web évolue continuellement. Il faut donc trouver des critères automatiques pour effectuer ce classement et pour cela, il semble a priori nécessaire
d’apprendre à l’ordinateur à lire et comprendre les différentes pages [9]... ce qui n’est pas encore à l’ordre du jour.

Mais pourtant la plupart des moteurs de recherche, et notamment Google, ont trouvé des solutions qui fonctionnent en général plutôt bien. La méthode de Google a déjà fait l’objet de nombreux articles (notamment un sur ce site) ; aussi ne vais-je pas encore une fois la détailler mais simplement me contenter de rappeler brièvement son principe. L’idée est de classer les pages simplement en fonction des liens qu’on y trouve. De façon légèrement plus précise, on attribue à chaque page une note qui est à peu près le nombre de fois qu’elle est référencée (c’est-à-dire directement accessible depuis une autre page) [10]. Cela paraît à première vue plutôt naïf : une page pourrait être très intéressante mais jamais citée (par exemple parce que personne ne l’a encore remarqué, ou parce qu’il s’agit d’un sujet très pointu dont peu de gens parlent) ou au contraire affligeante mais très souvent citée (par exemple beaucoup de gens pourraient la citer justement pour montrer l’exemple à ne pas suivre). L’algorithme de Google ne prend pas en compte ce type de considérations qu’il ne cherche même pas à comprendre ; il effectue simplement un calcul numérique à partir du décompte de nombre de liens, notamment sans jamais tenir compte du sens.

Et pourtant, vous pouvez constater chaque jour que cela fonctionne assez bien : par exemple, lorsque vous recherchez « gâteau chocolat », vous tombez en premier sur des recettes de gâteaux au chocolat en général acceptables, et seulement plus tard sur <a
href="http://www.facebook.com/pages/Gateau-au-chocolat/101369930598">cette page. Finalement, tout se passe comme si Google avait interprété correctement ce que vous vouliez et avait bien répondu à votre attente : le sens qui semblait avoir été perdu dans la notation réapparaît au final de façon un peu magique mais indéniable.

L’évaluation bibliométrique des chercheurs ?

Depuis quelques temps, vous ne l’avez sans doute pas raté, il est de plus en plus question d’évaluer les chercheurs à l’aide de critères bibliométriques. L’idée est que plutôt que de s’embêter à lire, comprendre et étudier les articles de chacun, on va se contenter de compter combien il y en a. En pondérant éventuellement par des nombres « bien choisis » (qui peuvent dépendre du nombre de pages ou de la revue dans laquelle l’article est publié), on fabrique une note qui permet de juger de la qualité du chercheur, voire même de classer ces derniers.

Évidemment, comme vous l’avez sans doute déjà entendu, beaucoup de mes confrères crient au scandale [11] jugeant la méthode beaucoup trop simpliste. Il semble difficile de leur
donner tort, je le reconnais... mais pourtant, au vu de ce qui précède et en particulier de mon baratin sur l’algorithme de Google, j’avoue que l’argument « C’est trop simple ! » ne me convainc pas totalement. C’est pourtant celui qui est le plus couramment utilisé, et je pense que si la
communauté mathématique veut pleinement s’opposer au principe de l’évaluation bibliométrique, il lui appartient de faire un effort pour étayer son principal argument.

Personnellement, je serais content de pouvoir lire — voire même savoir simplement qu’il existe — une étude (une étude statistique par exemple) qui montre clairement que les résultats fondés (uniquement) sur la bibliométrie diffèrent sensiblement de ceux fondés sur des méthodes
plus traditionnelles. Bien entendu, on peut toujours donner l’exemple du chercheur qui n’a rien publié pendant cinq ans, et reçoit la médaille Fields la sixième année. Mais, je pense qu’il est aussi possible de trouver des pages extraordinaires qui sont mal référencées par Google. Si l’on souhaite s’en tenir aux médaillés Fields qui publient peu, je pense qu’il faudrait au moins montrer que leur proportion est d’une façon ou d’une autre significative...

Comprenez-moi bien : je ne cherche pas à faire l’apologie des critères bibliométriques, mais plutôt à exprimer ma frustration devant la teneur des critiques qui lui sont faites habituellement. Il existe malgré tout d’autres arguments classiques utilisés par les opposants que je trouve légèrement plus pertinents (sans être pour autant incontestables selon moi).

Le premier auquel je pense est lié à l’enjeu. Autant se lancer dans le développement d’un moteur de recherche « bibliométrique » (de type Google) sans être certain du résultat n’est pas très dangereux, autant appliquer à grande échelle l’évaluation bibliométrique peut conduire à sacrifier toute une génération de mathématiciens. C’est certes un point délicat, mais on peut opposer à cela — ce que l’on fait d’ailleurs traditionnellement — que ce n’est pas en ne rien faisant que l’on aura une réponse.

Le deuxième argument que j’aimerais évoquer se résume par la doctrine « Attention, l’instrument de mesure perturbe la mesure ! » bien connue de tous les physiciens. Dans notre cas, cela signifie qu’à abuser des critères bibliométriques, les mathématiciens seront incités à user de techniques un peu sournoises pour augmenter la quantité de leur production, comme notamment le fait d’écrire plusieurs papiers dans des revues différentes pour présenter le même résultat, ou des variations minimes d’un unique théorème. On peut même penser que certains mathématiciens naturellement plus doués pour ce genre de jeux seront favorisés aux dépens des autres qui sont pourtant plus performants sur le plan de la recherche. En continuant le raisonnement, on peut même craindre de voir émerger des sociétés spécialisées dans la promotion des théorèmes mathématiques à l’instar des sociétés spécialisées qui vous proposent leur service pour booster le classement de votre page web sur Google. Si vous préférez, on a un peu peur de voir se développer — ou peut-être même réapparaître — le marché de la publicité au sein de la science avec les conséquences que cela implique. Par exemple, et en caricaturant volontairement, dans 50 ans, un laboratoire très riche pourra-t-il imposer que dorénavant $2+2 = 5$ ?

Je ne sais pas bien ce qu’il faut penser de tout cela, mais si l’on reprend la comparaison avec le web, autant il est clair que la présence de Google a une très grande influence (notamment par le fait que beaucoup de gens s’inquiètent de leur classement dans le moteur de recherche), autant je n’ai pas vraiment l’impression qu’en son absence le contenu des pages web aurait été autrement meilleur [12]. Jusqu’à quel point peut-on poursuivre le parallèle dans le monde de la science, ou de façon plus restrictive dans celui des mathématiques ? C’est une question à laquelle je n’ai pas de réponse.

Notes

[1Par exemple simpliste, ou aussi qui n’utilise pas toute l’information à disposition.

[2Dans la suite, lorsque je dirai « mot », il sera toujours sous-entendu qu’il s’agit d’un mot de cinq lettres dans lequel aucune lettre n’apparaît deux fois.

[3Enfin, je ne doutais pas que l’on arrive comme ceci à trouver le mot mystérieux, mais je pensais que le nombre de propositions avant d’y arriver serait immense.

[4En général, on commence par le chemin dont on pense qu’il a le plus de chance d’aboutir.

[5Particulièrement bien pour un programme informatique. Il faut savoir que, contrairement aux échecs par exemple, au go, les meilleurs humains sont bien plus forts que les meilleurs logiciels.

[6Les parties aléatoires simulées, j’entends

[7En fait, je ne suis pas vraiment au courant de l’algorithme exact, et j’imagine qu’en vrai, de nombreuses corrections viennent se fixer sur la trame générale que je viens de décrire.

[8Ce travail de fouille est bien sûr fait en amont et les résultats sont très soigneusement triés et référencés de façon à pouvoir y accéder ensuite le plus rapidement possible.

[9En général, on s’attend à ce que ce soit un préliminaire à la notation. On n’imagine pas par exemple un professeur noter correctement ses copies sans les comprendre.

[10On attribue en fait un poids différent à chaque lien en fonction de la page depuis laquelle il pointe, ce poids étant lui-même (proportionnel à) une note
jugeant de la qualité de chaque page à émettre des liens pertinents. Comprenez bien que le serpent ne se mord pas la queue dans le sens où l’on n’a pas besoin d’attribuer d’abord ces deuxièmes notes. En fait, tout se fait en même temps : on commence par attribuer la note de pertinence à chaque page, on les utilise pour attribuer la deuxième note, on utilise ensuite ces nouvelles données pour corriger les premières notes, ce qui permet maintenant de recorriger les deuxièmes notes, et ainsi de suite jusqu’à ce que le tout se stabilise. Enfin, peu importe, ce n’est pas essentiel pour la suite de mon propos.

[11Avec quand même quelques petites nuances. Par exemple, certains rejettent complètement la méthode, tandis que d’autres, tout en reconnaissant ses défauts et qu’elle
n’est pas adaptée pour l’évaluation individuelle des chercheurs, pensent qu’elle peut-être utilisée — au moins en partie — pour évaluer des structures plus grosses comme des laboratoires, ou même des pays.

[12Bien sûr, quoique l’on fasse maintenant, Google existe... donc ma phrase n’a pas vraiment de sens, mais vous comprenez je pense ce que je veux dire par là.

Partager cet article

Pour citer cet article :

Xavier Caruso — «D’une simplicité déconcertante» — Images des Mathématiques, CNRS, 2009

Commentaire sur l'article

  • D’une simplicité déconcertante

    le 9 décembre 2009 à 11:49, par Jean-Marc Schlenker

    Très joli billet qui choisit une approche originale et assez subtiles pour aborder des questions complexes.

    Concernant la bibliométrie c’est vrai qu’elle présente un paradoxe apparent entre la simplicité des instruments qu’elle propose (au moins pour certains) et l’importance qui leur est de plus en plus donnée. C’est d’autant plus important d’essayer d’en comprendre les enjeux et d’en faire une critique mesurée et raisonnée. Or je suis frappé par le rejet massif de la bibliométrie de la part de certains mathématiciens, rejet parfois extrème qui contraste avec l’utilisation désormais quotidienne qu’en font les scientifique de certaines disciplines.

    Je crois comme la plupart de mes collègues que l’évaluation individuelle des mathématiciens devrait éviter (ou n’utiliser que de manière limitée) les outils bibliométriques, pour deux raisons soulignées dans le billet : le risque d’erreurs (en particulier pour évaluer les jeunes chercheurs) et surtout les incitations perverses que ça pourrait donner (en gros, publier et communiquer plutôt que chercher). Ce problème des incitations perverses est peut-être plus grave en maths que dans d’autres disciplines.

    Par contre, pour les évaluations collectives de structures de taille suffisante, le rejet de l’utilisation raisonnée d’outils bibliométriques adaptés (par des experts scientifiquement compétents) me paraît moins évidente. En particulier pour une raison pratique :
    il me semble que ces évaluations reposent souvent in fine sur des évaluations quantitatives intuitives (on ne peut pas lire tous les papiers, donc on regarde où ils sont publiés, s’ils semblent avoir une visibilité suffisante dans la communauté, etc). Or des outils bien formalisés feraient le même travail avec des résultats plus fiables. Une fois obtenus, des indicateurs peuvent être corrigés/complétés par une analyse fine faite par des experts scientifiquement compétents.

    Un autre avantage des outils bibliométriques est qu’ils peuvent servir de garde-fous, en obligeant les experts (qui ne sont pas toujours infiniment vertueux ou compétents) à justifier leurs choix. Supposons par exemple que dans une commission, l’expert A présente le dossier de B, ami de longue date de A, en expliquant qu’il publie peu mais que c’est une autorité de premier plan dans son domaine et que ses travaux des années 80 fot référence. Si un autre membre de la commission s’aperçoit que B n’a été cité que 3 fois en tout au cours des 15 dernières années (exemple vécu), l’argument de A a, au moins, besoin d’être justifié de manière particulièrement solide...

    Il y a plusieurs raisons au rejet de la bibliométrie par certains mathématiciens, il me semble que la principale est la crainte qu’elle ne permette à des extérieurs (scientifiques d’autres disciplines, technocrates) de mettre leur nez dans nos affaires et d’avoir une opinion sur la qualité de nos recherches. Il me semble pourtant que le véritable danger (avéré) est qu’ils ne le fassent de manière malhabile et inadaptée à notre discipline, et n’arrivent à des conclusions erronnées. La meilleure réponse serait non pas de refuser en bloc tous les outils bibliométriques (combat probablement perdu d’avance) mais bien d’en proposer de bons, adaptés aux mathématiques, en expliquant parallèlement de quelle manière ils peuvent, ou ne peuvent pas, être utilisés.

    Répondre à ce message
  • D’une simplicité déconcertante

    le 9 décembre 2009 à 15:02, par Aurélien Djament

    Bonjour à tous,

    Une réponse partielle au commentaire de Jean-Marc Schlenker, qui est « frappé par le rejet massif de la bibliométrie de la part de certains mathématiciens, rejet parfois extrème qui contraste avec l’utilisation désormais quotidienne qu’en font les scientifique de certaines disciplines. »

    C’est peut-être justement l’usage qui est fait dans d’autres disciplines de la bibliométrie qui incite les mathématiciens à ne surtout pas vouloir suivre la même voie ! Pour illustration, j’étais récemment à une formation du CNRS destinée à des physiciens et mathématiciens récemment recrutés. Lors d’une séance abordant la bibliométrie, le rejet de cette pratique fut massif, voire totalement unanime, parmi les nouveaux recrutés. Et pas moins parmi les physiciens, où la bibliométrie est plus utilisée, que les mathématiciens. Une collègue a même cité en exemple à ne pas suivre une audition dans un concours d’entrée dans un organisme de recherche où un membre du jury avait calculé devant elle son facteur H, expliquant qu’elle avait probablement été avantagée par une homonymie. L’expérience de la pratique courante de la bibliométrie ne signifie pas forcément adhésion, bien au contraire !

    Par ailleurs, je ne partage pas l’idée que « Ce problème des incitations perverses est peut-être plus grave en maths que dans d’autres disciplines. » Plusieurs études ont montré que de nombreux chercheurs reconnaissent « trafiquer » leurs résultats, notamment dans les domaines où les applications industrielles sont importantes. Bien sûr, dans ce cas, la bibliométrie n’est pas la seule incitation, mais son utilisation pour l’évaluation d’une recherche participe de la même vision de la recherche que le financement sur projets ou sur résultats qui rend tentant d’« embellir » ceux qu’on a réellement obtenus. Je ne suis pas sûr que cela soit moins grave pour de la recherche médicale, par exemple, qu’en mathématiques... Sans bien sûr vouloir minimiser la nuisance très grave qu’occasionnerait le recours généralisé aux indicateurs bibliométriques en math. (publier une démonstration longue et technique qu’on sait pertinemment incomplète, mais avec un « trou » difficile à repérer, peut amener par ricochet à des catastrophes matérielles quelques années plus tard, au moins si le résultat faux est utilisé directement ou indirectement pour des applications matérielles).

    Cordialement,

    A.D.

    Répondre à ce message
    • D’une simplicité déconcertante

      le 12 décembre 2009 à 21:18, par Jean-Marc Schlenker

      Sur le premier point il me semble que le problème, dans l’exemple donné, ne provient pas de ce que des outils bibliométriques sont utilisés, mais de ce que ce sont des indicateurs douteux et utilisés de manière inadaptée. Je suis tout à fait d’accord sur le danger qu’il y a à de telles utilisations, et sur la nécessité d’essayer de les contrôler. Utiliser le h-indice pour évaluer (et éventuellement recruter) de jeunes chercheurs semble particulièrement maladroit (mais je ne veux pas porter de jugement sur les pratiques de collègues d’autres disciplines que je ne connais guère).

      Je répète que l’utilisation d’arguments bibliométriques est largement généralisée dans la plupart des disciplines scientifiques. Par exemple je participe chaque mois aux réunions de la commission des habilitations de mon université (une grande université scientifique de province). Dans certaines disciplines, les rapports d’habilitation contiennent presque systématiquement des données bibliométriques (impact factor des journaux où les articles sont publiés, parfois h-indice ou des variantes). Je crois que je suis le seul dans cette commission à ne pas vouloir utiliser (pour les maths) des indicateurs bibliométriques. Quand j’explique à mes collègues qu’ils ne me semblent pas adaptés aux évaluations individuelles, certains me regardent d’un air peiné qui semble dire « ces matheux sont décidément bien excentriques » (ou bien : « ces matheux n’ont vraiment rien compris au monde moderne, ils vivent encore au moyen âge », ou pire). (Evidemment j’utilise moi-même une heuristique « pré-bibliométrique » : si un dossier contient quelques papiers post-thèse acceptés dans de très bons journaux, il est presque certain qu’il ne va pas poser de problème.)

      Sur le second point est-ce que le problème provient vraiment de la bibliométrie ? Il me semble plutôt qu’il provient de l’existence d’un système d’incitations, qui apporte des avantages variés (postes, promotions, financements, etc) aux scientifiques qui obtiennent plus de résultats. Quelle que soit la manière d’évaluer (bibliométrique ou autre) des scientifiques peu consciencieux seront tentés d’« embellir » leurs résultats, non ? Les incitations perverses dont je parlais sont plus circonscrites : si par exemple on évalue les mathématiciens en fonction du nombre de citations qu’ils reçoivent, ça les encourage à passer plus de temps à communiquer sur leurs résultats qu’à les obtenir.

      Répondre à ce message
  • D’une simplicité déconcertante

    le 9 décembre 2009 à 20:06, par Jean-Paul Allouche

    Joli article en effet. L’exemple de Google montre à la fois l’intérêt et les limites des procédures automatiques (surtout si elles sont utilisées sans recul). Sur les questions de bibliométrie : il existe une recherche en bibliométrie qui montre les biais de telle ou telle mesure mais qui — malheureusement — semble admettre comme certains collègues qu’on peut à force de perfectionnement et de réflexion fabriquer un indice pertinent, intelligent, efficace etc. C’est évidemment absurde que de vouloir « quantifier la qualité ». La vraie question, en amont, est de savoir pourquoi on veut quantifier. Réfléchissons aux vraies raisons et convenons qu’elles ne sont guère reluisantes. Pour comprendre les enjeux politiques (plus dans le cas des sciences humaines il est vrai), on lira avec profit le numéro 37 (2009) de la revue Cités,
    intitulé « L’idéologie de l’évaluation. La grande imposture ».
    (Voir ici, et dans toutes les bonnes librairies.)

    Répondre à ce message
  • D’une simplicité déconcertante

    le 10 décembre 2009 à 00:47, par Jérôme Buzzi

    Que penser de tout cela ? Google a tranché ! Sur la demande « la bonne evaluation de la recherche », il indique en no. 1 :

    http://www.lesechos.fr/info/analyses/02076600028-la-bonne-methode-d-evaluation-des-chercheurs.htm

    ite missa est.

    Ma démarche est simpliste mais à vous, cher lecteur, d’en démontrer l’inanité.

    Répondre à ce message
    • D’une simplicité déconcertante

      le 10 décembre 2009 à 07:32, par Xavier Caruso

      Ah, très bonne réponse ! Même si elle aura peut-être du mal à convaincre les politiques.

      Merci en tout cas de l’avoir proposée !

      Répondre à ce message
  • Parabole du Grand Master Mind Universel des Mathématiques

    le 11 décembre 2009 à 13:33, par Joël Merker

    Entrelacements

    Au jeu du Master Mind, pourquoi la programmation de syllogismes de
    recherche est-elle si difficile à implémenter, demande Xavier Caruso ?
    Pourquoi la méthode « brutale » de recherche-élimination dans le
    dictionnaire est-elle plus performante ? Ces interrogations
    s’inscrivent dans un problème philosophique plus général qui va
    s’accentuer et se complexifier considérablement dans l’avenir : comment
    donc en effet, dans les cinq prochaines décennies, va-t-on voir
    se positionner les unes vis-à-vis des autres
    , d’un côté les
    activités humaines de la pensée, et de l’autre côte les machines
    électroniques sans pensée ? Problème très difficile, et avec internet
    tout autour de nous, qui d’entre nous ne réfléchit pas chaque
    jour
    à ce problème, ne serait-ce qu’ inconsciemment ?

    Simplicités

    Mais quant au Master Mind, ce jeu très attrayant auquel, adolescents
    et mathématiciens débutants, nous avons tous excellé, voici quelques
    observations que l’on pourra qualifier de simples. [By the way,
    un colloque intitulé :

    Simplicity as an Epistemological Value in Scientific Practice
    www.paris-iea.fr

    aura lieu le 8 et le 9 janvier à l’Institut d’Étude Avancées de
    Paris. Avis aux amateurs de concepts généraux !]

    Google n’a pas de cervelle propre

    Premièrement, notre cerveau est clairement incapable de passer en
    revue en un dixième de seconde les $2400$ mots du Petit Robert,
    de sélectionner seulement ceux qui ont cinq lettres, et ensuite, à
    chaque réponse que donnera le meneur de jeu à l’une des questions-test
    que nous lui poserions, de reparcourir à nouveau tous les mots
    restants de cinq lettres et au même moment en un dix-millième de
    seconde pour chaque mot, ou bien d’éliminer le mot qui est lu, ou bien de
    le conserver en fonction d’un critère prédéfini et
    constant. D’ailleurs, notre cerveau n’est pas du tout programmé pour
    exécuter de telles tâches qui sont fondamentalement mécaniques. Qui
    songerait en effet à prendre le départ d’un 10\,000 mètres en
    compétition avec un TGV Est sur le couloir de gauche ?

    Héritiers de millions de milliards de gestes

    La méthode « simple » n’est donc pas si simple : il y a
    encore moins d’une cinquantaine d’années, elle aurait été impensable !
    Notre pratique des ordinateurs méconnaît habituellement le fait
    que ces machines compressées jusqu’aux échelles microscopiques du
    monde physique local qui nous est acessible ont été construites,
    pensées, améliorées sur un temps extrêment long, avec la
    contribution de milliers, voir de dizaines de milliers
    d’ingénieurs-informaticiens. Le geste si simple aujourd’hui pour le
    jeune programmateur en herbe : "donnez-moi toutes les décimales de
    $\pi$ jusqu’à la 10001-ème" contient en lui plusieurs dizaines
    de millions
    de gestes lents, difficiles et hésitants des concepteurs
    de machines étalés sur presque un siècle. Lukas a consacré presque 20
    ans de sa vie à calculer les 26 premières décimales de $\pi$
    avec la méthode d’exhaustion d’Archimède. Son nom en allemagne est
    resté attaché à la demi-circonférence du cercle unité, mais que dire
    l’étudiant lambda qui s’émerveille d’un prétendu pouvoir magique sur
    Maple, sur Mathematica ou sur n’importe quel software de calcul
    électronique, sinon qu’il est bien naïf de croire que son
    destin est fondamentalement différent des mathématiciens qui
    calculaient à la main ? En effet, tout est seulement une question
    d’ échelle, les mathématiques sont infinies, et l’utilisation des
    calculateurs électroniques ne fait que repousser la limite du
    faisable. La recherche en mathématique est réellement un chantier
    inépuisable, et fort heureusement !

    Faust du temps long

    Impossible de ne pas citer Hegel ici.

    "C’est là assurément un temps fort long, et la longueur du
    temps que requiert l’esprit pour se procurer la philosophie est ce qui
    peut ébranler. J’ai dit au commencement que notre philosophie
    d’ aujourd’hui n’est pas autre chose que le résultat du
    travail de tous les siècles."

    Stop !
    Avons-nous bien lu cette phrase ? Lisons-la, relisons-la, méditons-la,
    et reméditons-la !
    Moment, please ! It’s so good,
    it’s so great to read that !

    "Il faut savoir, quand on est frappé d’un temps si long, que cette
    longueur de temps a été utilisée pour acquérir ces concepts—non tant
    jadis que maintenant. Il faut savoir en général que l’état du monde,
    d’un peuple, dépend du concept qu’il possède de lui-même ; le
    royaume de l’esprit n’est pas comme un champignon qui pousse en une
    nuit
     ; qu’il y ait eu besoin d’un temps si long ne frappe que
    lorsqu’on ne connaît pas la nature et l’importance de la philosophie
    et qu’on n’y prête pas attention [...]"

    G.W.F. Hegel Leçons sur l’histoire de la philosophie,
    Introduction, Bibliographie, Philosophie Orientale, Traduction de
    Gilles Marmasse, Paris, Librairie philosophie J. Vrin, 2004, 207 pp.

    Mirages de la mémoire englobante

    Deuxièmement, notre être biologique est principalement structuré
    pour se mouvoir dans un univers d’options exponentielles en se posant
    des questions pour décider de chaque acte. Cela aussi, c’est le fruit
    d’un temps long, mais en fait extrêment plus long que celui de
    l’Histoire, puisque la structuration du vivant remonte au-delà de la
    préhistoire, à plus d’un milliard d’années. Donc la méthode
    syllogistique que nous aimons tous au Master Mind, celle que nous a
    transmise l’Évolution (ou le Créateur), c’est en fait la plus
    puissante, car elle seule permet de surmonter le
    mur exponentiel des
    examens exhaustifs. Mais pour le Master Mind, il y a un petit
    mirage : en fait, depuis disons deux décennies, nos ordinateurs sont
    déjà assez puissants pour lire 50000 mots en une fraction de
    seconde. C’est presque de la triche, c’est un peu comme si l’on
    demandait à une automobile de faire 100 mètres dans la rue : trop
    fastoche ! Mais il en est tout à fait autrement pour, disons, le
    problème du voyageur de commerce (P versus NP), ou encore
    provisoirement, pour le go, après qu’en été 1997, Deep Blue a
    battu Kasparov mais avec l’aide très substantielle d’une mise en
    mémoire de milliers de parties jouées auparavant par des humains
    , un
    peu comme le dictionnaire
    de mots possibles pour le Master Mind. Pour terminer ces
    remarques spontanées, certains logicistes auraient bien aimé dans les
    premières années du vingtième siècle ramener l’arithmétique à un
    examen de toutes les formules que l’on peut écrire en langage formel pour
    ne conserver que celles qui fournissent de vrais théorèmes, mais cette
    idée est en fait tristement stupide : il y a déjà beaucoup plus de
    combinaisons possibles $26^{80}$ de 26 lettres dans une
    seule ligne
    que d’atomes ($<< 10^{100}$) dans tout l’univers
    observable ! 50000 mots, ce n’est rien, maintenant, mais $26^{80}$
    restera éternellement au-delà d’une borne supérieure raisonnable.

    Parabole du Grand Master Mind Universel des Mathématiques

    La recherche en mathématiques, c’est poser indéfiniment ses
    pions multicolores afin de tester ses idées devant le Grand Inconnu
    qui résiste.

    Conclusion de ces observations

    Donc au total, la proposition de Xavier Caruso : programmer des
    syllogismes subtils pour jouer au Master Mind, cette proposition reste
    de très loin la meilleure idée, et c’est bien pour ces raisons
    profondes que la vie et la société ne peuvent se dispenser de
    brillants chercheurs en mathématiques.

    Épi-provocatologue

    Re-terminons une seconde fois en citant une provocation pénétrante
    d’un célèbre GéoMaître, qui ne sera pas—isn’t it ?—complètement
    hors-sujet.

    Mikhail Gromov :
    Think of those computers playing chess. They
    certainly play better than maybe one or two people in the world, but
    we still can play chess because we like it.

    Rémi Langevin : Right.

    Mikhail Gromov :
    It changes completely the attitude towards
    chess. I do not think chess will exist seriously in another thirty
    years. Computers do it better, it is not interesting. Imagine if that
    happens to mathematics. If computers do it really better it would be
    some different kind of mathematics maybe.

    Poincaré en 1908 dans son allocution "L’avenir des
    mathématiques" au Congrès International des Mathématiciens
    n’avouait-il pas aussi qu’il n’était qu’un joueur d’échecs de niveau très
    moyen ?

    Répondre à ce message
  • D’une simplicité déconcertante

    le 14 décembre 2009 à 16:35, par Youssef

    Je vous félicite pour ce billet qui me paraît un agréable partage de réflexions.

    J’ai été assez étonné par l’efficacité de l’algorithme appliqué au go, je trouve que l’idée a été inspirée d’un algorithme de jeu de Dames et a été adaptée.

    En ce qui concerne le Master Mind, je dirai, de prime abord, qu’il a été question d’un bras de fer entre contraintes et taille du problème. L’ordinateur a été plus à l’aise avec le second programme puisqu’il comporte UNE contrainte qu’il a su gérer, c’est vrai que dans le monde des humains on peut se laisser influencer par la taille du dictionnaire mais pas dans le monde des ordinateurs.

    Par contre votre premier algorithme (intuitif) est plus adapté pour les humains parce que notre cerveau a tendance à minimiser la taille du problème avec des raisonnements aussi imbriqués que nécessaire, et on a tellement l’habitude de le faire qu’on sous estime la vrai complexité de cette opération.

    Répondre à ce message

Laisser un commentaire

Forum sur abonnement

Pour participer à ce forum, vous devez vous enregistrer au préalable. Merci d’indiquer ci-dessous l’identifiant personnel qui vous a été fourni. Si vous n’êtes pas enregistré, vous devez vous inscrire.

Connexions’inscriremot de passe oublié ?

Suivre IDM