Un livre sur les mathématiques et les mathématiciens, destiné à un large public ? Pari risqué ? Mêler mathématiques et beauté dans le titre pourrait surprendre, tant les souvenirs mathématiques de nos concitoyens sont souvent douloureux et n’évoquent guère la beauté. «  Et pourtant, certains d’entre nous trouvent de la beauté dans les mathématiques. »

Les mathématiques sont une activité humaine et «  notre sens humain de la beauté n’est pas strictement gouverné par la stricte logique ». « Ce qui nous attire, nous frêles humains, vers les mathématiques, c’est qu’elles confrontent l’incertitude et le caractère relatif de la pensée humaine à l’absolue certitude de la vérité mathématique. »

« Alors que le statut de l’Homme et des mathématiques a été radicalement revu, la relation entre les deux partenaires a remarquablement peu évolué depuis les grecs. Cependant, cette relation (on pourrait dire la beauté de cette relation) a été l’objet de ce livre. »

Voilà donc le thème : l’étrange beauté des mathématiques en tant qu’activité humaine.

David Ruelle est professeur de Physique Théorique à l’Institut des Hautes Études Scientifiques (IHÉS). Un physicien pour parler des mathématiques ? Mais s’agit-il vraiment d’un physicien ? Bien des lecteurs de ses articles scientifiques n’hésitent pas à cataloguer D. Ruelle comme un mathématicien. C’est précisément ce statut de physicien/mathématicien qui lui donne une expertise unique : un observateur du monde mathématique à la fois extérieur et intérieur, dont le regard est souvent sans pitié, mais presque toujours émerveillé.

« Ce livre est écrit pour les lecteurs de tout niveau mathématique (y compris minimal) ». Il est vrai que Ruelle fait l’impossible pour qu’une bonne partie de l’ouvrage ne nécessite que peu de connaissances mathématiques. Presque toujours, il y réussit. Mais le livre est aussi écrit pour des lecteurs scientifiques : «  J’y ai aussi inséré quelques véritables mathématiques, faciles et moins faciles ». Comment concilier des lecteurs aux intérêts différents ? Ruelle « encourage le lecteur, quelle que soit sa formation, à faire un effort pour comprendre les paragraphes mathématiques, ou au moins de les lire, (quitte à ne guère les comprendre) plutôt que de passer directement aux chapitres suivants ». Je suis dubitatif… Cela me semble une illusion ; lire sans comprendre ? Les nombres complexes, la géométrie projective, les variétés algébriques, ZFC ? Je ne pense pas que les maths soient comme ces chansons populaires polonaises dont l’auteur nous parle au chapitre 17 : « Je ne parle pas polonais et je ne comprenais pas le sens des chansons mais cela n’avait pas beaucoup d’importance, ce qui comptait, c’était la façon très particulière dont elles étaient chantées ». Pour les chansons polonaises, peut-être ? mais pour les maths, je n’y crois guère. Mon conseil au lecteur néophyte serait donc opposé : si vous ne comprenez pas le polonais et si vous ne percevez pas la tonalité de la voix de Ruelle dans tel ou tel paragraphe ou chapitre, passez au chapitre suivant ! A l’inverse, les lecteurs scientifiques trouveront bien sûr que tel ou tel paragraphe est trop « élémentaire » ; qu’ils n’hésitent pas à le sauter ! Tout cela est possible grâce à la structure « en tiroirs » du livre : vingt-trois chapitres très courts qui sont presque indépendants… Chaque tiroir contient de jolies choses ; le lecteur aura plaisir à les ouvrir dans l’ordre qui lui convient, quitte à devoir en refermer un de temps en temps parce qu’il est « chanté en polonais », ou parce que son contenu l’encourage à ouvrir un autre tiroir.

J’aime bien la comparaison qu’on trouve dans le tiroir 14 entre l’activité du mathématicien et l’escalade. L’escalade implique bien sûr un être humain qui grimpe sur un rocher qui n’est pas humain. Le rocher est ce qu’il est, mais l’homme choisit sa propre voie d’accès (et certains sont plus doués que d’autres à ce sport). Une question bien connue des mathématiciens est de savoir si des extraterrestres seraient d’accord avec eux, disons sur la preuve du théorème de Pythagore ? ou encore de savoir si les mathématiciens extraterrestres auraient été indépendamment conduits au même théorème de Pythagore ? «  Il est clair que les problèmes rencontrés par un lézard ou par une mouche qui escalade une falaise sont totalement différents de ceux que rencontrent un alpiniste humain ». Ruelle discute aussi d’autres mathématiques « inhumaines » et d’autres formes d’intelligence. Il consacre un chapitre à la comparaison entre un cerveau humain et un ordinateur (et il s’agit d’ailleurs d’un de ces chapitres tout à la fois intéressants, accessibles sans bagage mathématique, et indépendants des autres). Il signale aussi la sélection naturelle en biologie : une forme d’intelligence empirique et non conceptuelle — donc bien différente de « nos » mathématiques — qui a pourtant résolu bien des problèmes complexes, comme par exemple celui de fabriquer des cerveaux humains. Oui, décidément, les mathématiques telles que nous les entendons sont une activité humaine et il est heureux que ce livre les aborde de ce point de vue.

Beaucoup de merveilles dans ces tiroirs… On y parle de maths, bien sûr, de mathématiciens, mais aussi de la communauté des mathématiciens, de leurs méthodes de travail, de leurs habitudes, leur psychologie, et même de leur inconscient. Quelques exemples :

De mathématiciens. Le chapitre 7 — Un voyage à Nancy avec Alexandre Grothendieck — est passionnant, à la fois pour les mathématiciens — qui savent ce que Grothendieck représente pour les mathématiques du vingtième siècle — que pour ceux qui ne connaissaient pas ce nom auparavant. Ruelle, qui a bien connu ce mathématicien exceptionnel dont il était le collègue, apporte un témoignage sur la façon dont il a tout simplement révolutionné la géométrie algébrique et la théorie des nombres, mais aussi sur ses méthodes de travail, sur sa personnalité, et sur ses rapports avec ses collègues. Au faîte de sa carrière, après avoir accompli un travail considérable, Grothendieck abandonne les mathématiques soudainement, à l’âge de 42 ans. Beaucoup de mathématiciens (dont moi-même) ne connaissent qu’une partie de l’histoire, la plus belle… Ruelle y apporte des éclairages plus nuancés, sur les liens de pouvoir, sur le corporatisme à l’intérieur du monde des mathématiciens, et sa conclusion est dure : « Il s’est passé quelque chose de peu honorable. Et l’élimination de Grothendieck restera une tache dans l’histoire des mathématiques du XXème siècle ».

Des maths. On conseille souvent à l’apprenti mathématicien de ne jamais faire de conférence sans y démontrer quelque chose, même si ce quelque chose est un théorème facile. Ne jamais parler de maths sans en faire. Ruelle connaît bien ce conseil, et il en donne deux très belles illustrations. Dans le chapitre 4, il démontre le « théorème du papillon » : un théorème de géométrie du plan, dont on comprend facilement l’énoncé mais dont la démonstration est « belle ». Une fois placée dans son contexte naturel (dans ce cas la « géométrie projective »), il devient évident. Bien sûr, il aura fallu travailler (ou, plus précisément, beaucoup de nos prédécesseurs auront du travailler) pour expliciter ces structures qui permettent de « voir » ce théorème comme une évidence. Un regret sur cet exemple : je ne suis pas convaincu que le lecteur dont le niveau mathématique est minimal pourra saisir la démonstration, et cette beauté lui restera peut-être inaccessible.

Je ne connaissais pas le théorème du cercle de Lee et Yang. J’ai beaucoup aimé ce chapitre 17 qui commence précisément par la comparaison avec les chansons polonaises… Comme je l’ai dit plus haut, il me semble préférable de le sauter si on ne parle pas « polonais ». C’est dommage pourtant puisqu’en quelques pages, Ruelle nous énonce un théorème relativement technique et nous le démontre. En faisant cela, il illustre à merveille ce qu’est une démonstration mathématique pour un être humain, et ce qui la différencie d’une vérification par ordinateur. En lisant ces quelques pages, je n’ai vérifié aucun détail, je ne suis évidemment pas revenu aux axiomes de base, mais je sais que le théorème est vrai. La discussion qui en suit, attribuant une dimension infinie à l’espace mathématique, est vraiment intéressante si on est mathématicien ; je pense malheureusement qu’elle restera hermétique aux autres lecteurs.

Une communauté culturelle mathématique. Ruelle connaît parfaitement le milieu des mathématiciens et son livre regorge d’informations intéressantes, pas seulement pour les non mathématiciens : «  l’important pour de nombreux mathématiciens est de se sentir membre d’une élite qui partage un trésor intellectuel ». Ruelle discute de la manière dont cette communauté décide de ce qui est intéressant. De nombreux auteurs ont déjà analysé « L’invention mathématique » — en particulier Hadamard et Poincaré il y a un siècle — et l’une des théories généralement admises est que le critère qui guide le mathématicien dans ses choix est avant tout esthétique. Ruelle y ajoute une composante culturelle : « Une culture mathématique donnée, à une époque donnée, fait référence à des théorèmes standard, à des procédures, à des manières de penser, qui définissent cette culture ». Les mathématiques sont bien souvent une activité individuelle, mais dans un contexte culturel en constante évolution : voilà qui surprendra ceux qui pensent aux mathématiques comme des vérités immuables et froides, et qui ne surprendra pas ceux qui connaissent le monde des mathématiciens.

Beaucoup de merveilles dans ces tiroirs… On y verra par exemple que les erreurs ne sont pas absentes de la vie mathématique, que le vrai, le faux, le démontrable, l’indécidable, le calculable etc. sont plus subtils qu’il n’y paraît, mais que «  fondamentalement, on peut dire que de bons mathématiciens, travaillant dans un domaine donné, connaissent le degré de fiabilité de la littérature dans ce domaine ». Une activité humaine...

Ouvrez et fermez les tiroirs. Je pense que D. Ruelle aura gagné son pari si le lecteur en retire l’impression que les mathématiciens sont des êtres humains… «  Il ne faut pas oublier que, à côté d’idées admirables, il y a beaucoup de choses plus obscures qui grouillent dans le cerveau du mathématicien ».

(Une première version de ce texte est parue sur http://www.nonfiction.fr/)