9 décembre 2009

8 messages - Retourner à l'article
  • D’une simplicité déconcertante

    le 9 décembre 2009 à 11:49, par Jean-Marc Schlenker

    Très joli billet qui choisit une approche originale et assez subtiles pour aborder des questions complexes.

    Concernant la bibliométrie c’est vrai qu’elle présente un paradoxe apparent entre la simplicité des instruments qu’elle propose (au moins pour certains) et l’importance qui leur est de plus en plus donnée. C’est d’autant plus important d’essayer d’en comprendre les enjeux et d’en faire une critique mesurée et raisonnée. Or je suis frappé par le rejet massif de la bibliométrie de la part de certains mathématiciens, rejet parfois extrème qui contraste avec l’utilisation désormais quotidienne qu’en font les scientifique de certaines disciplines.

    Je crois comme la plupart de mes collègues que l’évaluation individuelle des mathématiciens devrait éviter (ou n’utiliser que de manière limitée) les outils bibliométriques, pour deux raisons soulignées dans le billet : le risque d’erreurs (en particulier pour évaluer les jeunes chercheurs) et surtout les incitations perverses que ça pourrait donner (en gros, publier et communiquer plutôt que chercher). Ce problème des incitations perverses est peut-être plus grave en maths que dans d’autres disciplines.

    Par contre, pour les évaluations collectives de structures de taille suffisante, le rejet de l’utilisation raisonnée d’outils bibliométriques adaptés (par des experts scientifiquement compétents) me paraît moins évidente. En particulier pour une raison pratique :
    il me semble que ces évaluations reposent souvent in fine sur des évaluations quantitatives intuitives (on ne peut pas lire tous les papiers, donc on regarde où ils sont publiés, s’ils semblent avoir une visibilité suffisante dans la communauté, etc). Or des outils bien formalisés feraient le même travail avec des résultats plus fiables. Une fois obtenus, des indicateurs peuvent être corrigés/complétés par une analyse fine faite par des experts scientifiquement compétents.

    Un autre avantage des outils bibliométriques est qu’ils peuvent servir de garde-fous, en obligeant les experts (qui ne sont pas toujours infiniment vertueux ou compétents) à justifier leurs choix. Supposons par exemple que dans une commission, l’expert A présente le dossier de B, ami de longue date de A, en expliquant qu’il publie peu mais que c’est une autorité de premier plan dans son domaine et que ses travaux des années 80 fot référence. Si un autre membre de la commission s’aperçoit que B n’a été cité que 3 fois en tout au cours des 15 dernières années (exemple vécu), l’argument de A a, au moins, besoin d’être justifié de manière particulièrement solide...

    Il y a plusieurs raisons au rejet de la bibliométrie par certains mathématiciens, il me semble que la principale est la crainte qu’elle ne permette à des extérieurs (scientifiques d’autres disciplines, technocrates) de mettre leur nez dans nos affaires et d’avoir une opinion sur la qualité de nos recherches. Il me semble pourtant que le véritable danger (avéré) est qu’ils ne le fassent de manière malhabile et inadaptée à notre discipline, et n’arrivent à des conclusions erronnées. La meilleure réponse serait non pas de refuser en bloc tous les outils bibliométriques (combat probablement perdu d’avance) mais bien d’en proposer de bons, adaptés aux mathématiques, en expliquant parallèlement de quelle manière ils peuvent, ou ne peuvent pas, être utilisés.

    Répondre à ce message
  • D’une simplicité déconcertante

    le 9 décembre 2009 à 15:02, par Aurélien Djament

    Bonjour à tous,

    Une réponse partielle au commentaire de Jean-Marc Schlenker, qui est « frappé par le rejet massif de la bibliométrie de la part de certains mathématiciens, rejet parfois extrème qui contraste avec l’utilisation désormais quotidienne qu’en font les scientifique de certaines disciplines. »

    C’est peut-être justement l’usage qui est fait dans d’autres disciplines de la bibliométrie qui incite les mathématiciens à ne surtout pas vouloir suivre la même voie ! Pour illustration, j’étais récemment à une formation du CNRS destinée à des physiciens et mathématiciens récemment recrutés. Lors d’une séance abordant la bibliométrie, le rejet de cette pratique fut massif, voire totalement unanime, parmi les nouveaux recrutés. Et pas moins parmi les physiciens, où la bibliométrie est plus utilisée, que les mathématiciens. Une collègue a même cité en exemple à ne pas suivre une audition dans un concours d’entrée dans un organisme de recherche où un membre du jury avait calculé devant elle son facteur H, expliquant qu’elle avait probablement été avantagée par une homonymie. L’expérience de la pratique courante de la bibliométrie ne signifie pas forcément adhésion, bien au contraire !

    Par ailleurs, je ne partage pas l’idée que « Ce problème des incitations perverses est peut-être plus grave en maths que dans d’autres disciplines. » Plusieurs études ont montré que de nombreux chercheurs reconnaissent « trafiquer » leurs résultats, notamment dans les domaines où les applications industrielles sont importantes. Bien sûr, dans ce cas, la bibliométrie n’est pas la seule incitation, mais son utilisation pour l’évaluation d’une recherche participe de la même vision de la recherche que le financement sur projets ou sur résultats qui rend tentant d’« embellir » ceux qu’on a réellement obtenus. Je ne suis pas sûr que cela soit moins grave pour de la recherche médicale, par exemple, qu’en mathématiques... Sans bien sûr vouloir minimiser la nuisance très grave qu’occasionnerait le recours généralisé aux indicateurs bibliométriques en math. (publier une démonstration longue et technique qu’on sait pertinemment incomplète, mais avec un « trou » difficile à repérer, peut amener par ricochet à des catastrophes matérielles quelques années plus tard, au moins si le résultat faux est utilisé directement ou indirectement pour des applications matérielles).

    Cordialement,

    A.D.

    Répondre à ce message
    • D’une simplicité déconcertante

      le 12 décembre 2009 à 21:18, par Jean-Marc Schlenker

      Sur le premier point il me semble que le problème, dans l’exemple donné, ne provient pas de ce que des outils bibliométriques sont utilisés, mais de ce que ce sont des indicateurs douteux et utilisés de manière inadaptée. Je suis tout à fait d’accord sur le danger qu’il y a à de telles utilisations, et sur la nécessité d’essayer de les contrôler. Utiliser le h-indice pour évaluer (et éventuellement recruter) de jeunes chercheurs semble particulièrement maladroit (mais je ne veux pas porter de jugement sur les pratiques de collègues d’autres disciplines que je ne connais guère).

      Je répète que l’utilisation d’arguments bibliométriques est largement généralisée dans la plupart des disciplines scientifiques. Par exemple je participe chaque mois aux réunions de la commission des habilitations de mon université (une grande université scientifique de province). Dans certaines disciplines, les rapports d’habilitation contiennent presque systématiquement des données bibliométriques (impact factor des journaux où les articles sont publiés, parfois h-indice ou des variantes). Je crois que je suis le seul dans cette commission à ne pas vouloir utiliser (pour les maths) des indicateurs bibliométriques. Quand j’explique à mes collègues qu’ils ne me semblent pas adaptés aux évaluations individuelles, certains me regardent d’un air peiné qui semble dire « ces matheux sont décidément bien excentriques » (ou bien : « ces matheux n’ont vraiment rien compris au monde moderne, ils vivent encore au moyen âge », ou pire). (Evidemment j’utilise moi-même une heuristique « pré-bibliométrique » : si un dossier contient quelques papiers post-thèse acceptés dans de très bons journaux, il est presque certain qu’il ne va pas poser de problème.)

      Sur le second point est-ce que le problème provient vraiment de la bibliométrie ? Il me semble plutôt qu’il provient de l’existence d’un système d’incitations, qui apporte des avantages variés (postes, promotions, financements, etc) aux scientifiques qui obtiennent plus de résultats. Quelle que soit la manière d’évaluer (bibliométrique ou autre) des scientifiques peu consciencieux seront tentés d’« embellir » leurs résultats, non ? Les incitations perverses dont je parlais sont plus circonscrites : si par exemple on évalue les mathématiciens en fonction du nombre de citations qu’ils reçoivent, ça les encourage à passer plus de temps à communiquer sur leurs résultats qu’à les obtenir.

      Répondre à ce message
  • D’une simplicité déconcertante

    le 9 décembre 2009 à 20:06, par Jean-Paul Allouche

    Joli article en effet. L’exemple de Google montre à la fois l’intérêt et les limites des procédures automatiques (surtout si elles sont utilisées sans recul). Sur les questions de bibliométrie : il existe une recherche en bibliométrie qui montre les biais de telle ou telle mesure mais qui — malheureusement — semble admettre comme certains collègues qu’on peut à force de perfectionnement et de réflexion fabriquer un indice pertinent, intelligent, efficace etc. C’est évidemment absurde que de vouloir « quantifier la qualité ». La vraie question, en amont, est de savoir pourquoi on veut quantifier. Réfléchissons aux vraies raisons et convenons qu’elles ne sont guère reluisantes. Pour comprendre les enjeux politiques (plus dans le cas des sciences humaines il est vrai), on lira avec profit le numéro 37 (2009) de la revue Cités,
    intitulé « L’idéologie de l’évaluation. La grande imposture ».
    (Voir ici, et dans toutes les bonnes librairies.)

    Répondre à ce message
  • D’une simplicité déconcertante

    le 10 décembre 2009 à 00:47, par Jérôme Buzzi

    Que penser de tout cela ? Google a tranché ! Sur la demande « la bonne evaluation de la recherche », il indique en no. 1 :

    http://www.lesechos.fr/info/analyses/02076600028-la-bonne-methode-d-evaluation-des-chercheurs.htm

    ite missa est.

    Ma démarche est simpliste mais à vous, cher lecteur, d’en démontrer l’inanité.

    Répondre à ce message
    • D’une simplicité déconcertante

      le 10 décembre 2009 à 07:32, par Xavier Caruso

      Ah, très bonne réponse ! Même si elle aura peut-être du mal à convaincre les politiques.

      Merci en tout cas de l’avoir proposée !

      Répondre à ce message
  • Parabole du Grand Master Mind Universel des Mathématiques

    le 11 décembre 2009 à 13:33, par Joël Merker

    Entrelacements

    Au jeu du Master Mind, pourquoi la programmation de syllogismes de
    recherche est-elle si difficile à implémenter, demande Xavier Caruso ?
    Pourquoi la méthode « brutale » de recherche-élimination dans le
    dictionnaire est-elle plus performante ? Ces interrogations
    s’inscrivent dans un problème philosophique plus général qui va
    s’accentuer et se complexifier considérablement dans l’avenir : comment
    donc en effet, dans les cinq prochaines décennies, va-t-on voir
    se positionner les unes vis-à-vis des autres
    , d’un côté les
    activités humaines de la pensée, et de l’autre côte les machines
    électroniques sans pensée ? Problème très difficile, et avec internet
    tout autour de nous, qui d’entre nous ne réfléchit pas chaque
    jour
    à ce problème, ne serait-ce qu’ inconsciemment ?

    Simplicités

    Mais quant au Master Mind, ce jeu très attrayant auquel, adolescents
    et mathématiciens débutants, nous avons tous excellé, voici quelques
    observations que l’on pourra qualifier de simples. [By the way,
    un colloque intitulé :

    Simplicity as an Epistemological Value in Scientific Practice
    www.paris-iea.fr

    aura lieu le 8 et le 9 janvier à l’Institut d’Étude Avancées de
    Paris. Avis aux amateurs de concepts généraux !]

    Google n’a pas de cervelle propre

    Premièrement, notre cerveau est clairement incapable de passer en
    revue en un dixième de seconde les $2400$ mots du Petit Robert,
    de sélectionner seulement ceux qui ont cinq lettres, et ensuite, à
    chaque réponse que donnera le meneur de jeu à l’une des questions-test
    que nous lui poserions, de reparcourir à nouveau tous les mots
    restants de cinq lettres et au même moment en un dix-millième de
    seconde pour chaque mot, ou bien d’éliminer le mot qui est lu, ou bien de
    le conserver en fonction d’un critère prédéfini et
    constant. D’ailleurs, notre cerveau n’est pas du tout programmé pour
    exécuter de telles tâches qui sont fondamentalement mécaniques. Qui
    songerait en effet à prendre le départ d’un 10\,000 mètres en
    compétition avec un TGV Est sur le couloir de gauche ?

    Héritiers de millions de milliards de gestes

    La méthode « simple » n’est donc pas si simple : il y a
    encore moins d’une cinquantaine d’années, elle aurait été impensable !
    Notre pratique des ordinateurs méconnaît habituellement le fait
    que ces machines compressées jusqu’aux échelles microscopiques du
    monde physique local qui nous est acessible ont été construites,
    pensées, améliorées sur un temps extrêment long, avec la
    contribution de milliers, voir de dizaines de milliers
    d’ingénieurs-informaticiens. Le geste si simple aujourd’hui pour le
    jeune programmateur en herbe : "donnez-moi toutes les décimales de
    $\pi$ jusqu’à la 10001-ème" contient en lui plusieurs dizaines
    de millions
    de gestes lents, difficiles et hésitants des concepteurs
    de machines étalés sur presque un siècle. Lukas a consacré presque 20
    ans de sa vie à calculer les 26 premières décimales de $\pi$
    avec la méthode d’exhaustion d’Archimède. Son nom en allemagne est
    resté attaché à la demi-circonférence du cercle unité, mais que dire
    l’étudiant lambda qui s’émerveille d’un prétendu pouvoir magique sur
    Maple, sur Mathematica ou sur n’importe quel software de calcul
    électronique, sinon qu’il est bien naïf de croire que son
    destin est fondamentalement différent des mathématiciens qui
    calculaient à la main ? En effet, tout est seulement une question
    d’ échelle, les mathématiques sont infinies, et l’utilisation des
    calculateurs électroniques ne fait que repousser la limite du
    faisable. La recherche en mathématique est réellement un chantier
    inépuisable, et fort heureusement !

    Faust du temps long

    Impossible de ne pas citer Hegel ici.

    "C’est là assurément un temps fort long, et la longueur du
    temps que requiert l’esprit pour se procurer la philosophie est ce qui
    peut ébranler. J’ai dit au commencement que notre philosophie
    d’ aujourd’hui n’est pas autre chose que le résultat du
    travail de tous les siècles."

    Stop !
    Avons-nous bien lu cette phrase ? Lisons-la, relisons-la, méditons-la,
    et reméditons-la !
    Moment, please ! It’s so good,
    it’s so great to read that !

    "Il faut savoir, quand on est frappé d’un temps si long, que cette
    longueur de temps a été utilisée pour acquérir ces concepts—non tant
    jadis que maintenant. Il faut savoir en général que l’état du monde,
    d’un peuple, dépend du concept qu’il possède de lui-même ; le
    royaume de l’esprit n’est pas comme un champignon qui pousse en une
    nuit
     ; qu’il y ait eu besoin d’un temps si long ne frappe que
    lorsqu’on ne connaît pas la nature et l’importance de la philosophie
    et qu’on n’y prête pas attention [...]"

    G.W.F. Hegel Leçons sur l’histoire de la philosophie,
    Introduction, Bibliographie, Philosophie Orientale, Traduction de
    Gilles Marmasse, Paris, Librairie philosophie J. Vrin, 2004, 207 pp.

    Mirages de la mémoire englobante

    Deuxièmement, notre être biologique est principalement structuré
    pour se mouvoir dans un univers d’options exponentielles en se posant
    des questions pour décider de chaque acte. Cela aussi, c’est le fruit
    d’un temps long, mais en fait extrêment plus long que celui de
    l’Histoire, puisque la structuration du vivant remonte au-delà de la
    préhistoire, à plus d’un milliard d’années. Donc la méthode
    syllogistique que nous aimons tous au Master Mind, celle que nous a
    transmise l’Évolution (ou le Créateur), c’est en fait la plus
    puissante, car elle seule permet de surmonter le
    mur exponentiel des
    examens exhaustifs. Mais pour le Master Mind, il y a un petit
    mirage : en fait, depuis disons deux décennies, nos ordinateurs sont
    déjà assez puissants pour lire 50000 mots en une fraction de
    seconde. C’est presque de la triche, c’est un peu comme si l’on
    demandait à une automobile de faire 100 mètres dans la rue : trop
    fastoche ! Mais il en est tout à fait autrement pour, disons, le
    problème du voyageur de commerce (P versus NP), ou encore
    provisoirement, pour le go, après qu’en été 1997, Deep Blue a
    battu Kasparov mais avec l’aide très substantielle d’une mise en
    mémoire de milliers de parties jouées auparavant par des humains
    , un
    peu comme le dictionnaire
    de mots possibles pour le Master Mind. Pour terminer ces
    remarques spontanées, certains logicistes auraient bien aimé dans les
    premières années du vingtième siècle ramener l’arithmétique à un
    examen de toutes les formules que l’on peut écrire en langage formel pour
    ne conserver que celles qui fournissent de vrais théorèmes, mais cette
    idée est en fait tristement stupide : il y a déjà beaucoup plus de
    combinaisons possibles $26^{80}$ de 26 lettres dans une
    seule ligne
    que d’atomes ($<< 10^{100}$) dans tout l’univers
    observable ! 50000 mots, ce n’est rien, maintenant, mais $26^{80}$
    restera éternellement au-delà d’une borne supérieure raisonnable.

    Parabole du Grand Master Mind Universel des Mathématiques

    La recherche en mathématiques, c’est poser indéfiniment ses
    pions multicolores afin de tester ses idées devant le Grand Inconnu
    qui résiste.

    Conclusion de ces observations

    Donc au total, la proposition de Xavier Caruso : programmer des
    syllogismes subtils pour jouer au Master Mind, cette proposition reste
    de très loin la meilleure idée, et c’est bien pour ces raisons
    profondes que la vie et la société ne peuvent se dispenser de
    brillants chercheurs en mathématiques.

    Épi-provocatologue

    Re-terminons une seconde fois en citant une provocation pénétrante
    d’un célèbre GéoMaître, qui ne sera pas—isn’t it ?—complètement
    hors-sujet.

    Mikhail Gromov :
    Think of those computers playing chess. They
    certainly play better than maybe one or two people in the world, but
    we still can play chess because we like it.

    Rémi Langevin : Right.

    Mikhail Gromov :
    It changes completely the attitude towards
    chess. I do not think chess will exist seriously in another thirty
    years. Computers do it better, it is not interesting. Imagine if that
    happens to mathematics. If computers do it really better it would be
    some different kind of mathematics maybe.

    Poincaré en 1908 dans son allocution "L’avenir des
    mathématiques" au Congrès International des Mathématiciens
    n’avouait-il pas aussi qu’il n’était qu’un joueur d’échecs de niveau très
    moyen ?

    Répondre à ce message
  • D’une simplicité déconcertante

    le 14 décembre 2009 à 16:35, par Youssef

    Je vous félicite pour ce billet qui me paraît un agréable partage de réflexions.

    J’ai été assez étonné par l’efficacité de l’algorithme appliqué au go, je trouve que l’idée a été inspirée d’un algorithme de jeu de Dames et a été adaptée.

    En ce qui concerne le Master Mind, je dirai, de prime abord, qu’il a été question d’un bras de fer entre contraintes et taille du problème. L’ordinateur a été plus à l’aise avec le second programme puisqu’il comporte UNE contrainte qu’il a su gérer, c’est vrai que dans le monde des humains on peut se laisser influencer par la taille du dictionnaire mais pas dans le monde des ordinateurs.

    Par contre votre premier algorithme (intuitif) est plus adapté pour les humains parce que notre cerveau a tendance à minimiser la taille du problème avec des raisonnements aussi imbriqués que nécessaire, et on a tellement l’habitude de le faire qu’on sous estime la vrai complexité de cette opération.

    Répondre à ce message
Pour participer à la discussion merci de vous identifier : Si vous n'avez pas d'identifiant, vous pouvez vous inscrire.