Dans les années 1920, le statisticien Alfred Lotka et le mathématicien Vito Volterra élaborent un modèle qui décrit la dynamique de systèmes écologiques où cohabitent un prédateur et sa proie. De façon emblématique, il est souvent appliqué aux lynx et aux lièvres des neiges dont les recensements précis ont été établis par la Compagnie de la baie d’Hudson au xixe siècle. Ce modèle est constitué d’une équation différentielle qui traduit l’évolution des populations de chaque animal. Ainsi, quand les lynx sont nombreux, la population de lièvres décroît, ce qui entraîne la diminution du nombre de lynx (ils ont moins à manger), puis l’augmentation de celui de lièvres, libérés de la pression des prédateurs... Ce type d’équations n’est pas réservé à la biologie et il est également pertinent notamment en physique : au début du xxe siècle, Balthazar Van der Pol décrit de cette façon les oscillations d’un circuit électrique doté d’une lampe dont la résistance dépend de l’intensité du courant qui y passe.

Dans les deux exemples, à mesure que le temps croît, le comportement du système a tendance à devenir périodique. Graphiquement, les courbes qui représentent les solutions s’approchent d’un cycle : on parle de cycle limite. Rigoureusement, le modèle de Lotka-Volterra n’admet un cycle limite que dans une version modifiée par l’écologiste canadien Crawford Holling, mais nous n’entrerons pas dans les détails. D’autres systèmes, plus complexes, peuvent avoir plusieurs cycles limites. Le comportement asymptotique sera encore périodique, mais la convergence aura lieu vers tel ou tel cycle limite selon la position initiale. Il est important de pouvoir déterminer le nombre de ces cycles limites.

L’évolution des populations de lièvres et de lynx, leurs prédateurs, en fonction du temps t, a été modélisée par Alfred Lotka et Vito Volterra au début du xxe siècle. Ce modèle a été repris par l’écologiste canadien Crawford Holling qui en a proposé une version plus élaborée : elle contient notamment un nouveau terme qui rend compte de la mortalité des prédateurs. Dans ce dernier cas, les solutions, c’est-à-dire les niveaux de population des deux espèces en fonction du temps, dessinent dans certaines conditions un cycle dit limite (en rouge) dans le plan où les coordonnées sont les populations des deux espèces.

Cette question est au cœur du 16ème problème de Hilbert qui se concentre sur les équations différentielles polynomiales dans le plan (voir l’encadré). On peut formuler le problème ainsi : connaissant le degré $n$ d’une équation différentielle dans le plan, peut-on estimer le nombre de ses cycles limites ? Précisons qu’il s’agit de la seconde partie du problème ; la première, que nous n’aborderons pas, concerne le nombre et la disposition des composantes réelles d’une courbe algébrique.

Cassons le suspense tout de suite ; le problème des cycles limites n’est toujours pas résolu 112 ans après son énoncé ! Toutefois, si on n’en sait pas plus sur la question précise, les mathématiciens ont beaucoup appris sur les équations différentielles. Nous nous en rendrons compte en retraçant les grandes étapes de l’histoire de ce problème. Les principaux jalons ne furent pas tous des avancées, mais ce furent aussi parfois des retours en arrière, voire des « remises à zéro » !

Un mémoire fondateur

L’acte de naissance des cycles limites est le Mémoire sur les courbes définies par une équation différentielle écrit par Henri Poincaré en 1881, quand il a 27 ans. Dans ce texte, il reprend le thème classique des équations différentielles, mais son approche est radicalement différente de celle de ses prédécesseurs.

Depuis l’introduction du calcul différentiel par Newton et Leibniz, les mathématiciens avaient cherché à résoudre les équations différentielles ; ils cherchaient des formules exprimant les solutions en fonction du temps. Les méthodes étaient souvent astucieuses, mais elles ne rendaient compte que d’équations bien particulières.

Avec Poincaré, on se rendit à l’évidence : pour la plupart des équations différentielles, on ne savait pas dire grand-chose et encore moins trouver une formule qui exprime les solutions. Face à ce constat d’échec, le mathématicien propose une autre voie d’approche. Selon lui, « cette étude qualitative aura par elle-même un intérêt du premier ordre. Diverses questions fort importantes d’analyse et de mécanique peuvent en effet s’y ramener… Tel est le vaste champ de découvertes qui s’ouvre devant le géomètre ».

Le comportement d’une équation

L’idée n’est plus de résoudre l’équation différentielle, mais de cerner son comportement, c’est-à-dire celui de ses solutions. Poincaré propose un parallèle. Confrontés à l’étude d’une fonction, les lycéens en déterminent d’abord le domaine de définition, la dérivée, le signe de cette dérivée, les asymptotes, les points d’inflexion... afin de pouvoir enfin définir l’allure générale de la courbe correspondant à la fonction.
Poincaré souhaite procéder de la même façon avec des équations différentielles : obtenir des informations sur les solutions qui ne sont peut-être que partielles et qualitatives, mais qui sont cependant suffisantes pour se faire une bonne idée de leur comportement asymptotique, lorsque le temps croît.

Pour ce faire, il met en évidence quelques points remarquables qui peuvent gouverner le comportement global. Par exemple, il montre l’importance des points selles (voir la figure ci-dessous). Au voisinage de ces points, on distingue deux courbes, nommées séparatrices (en vert sur la figure a,), qui forment une sorte de croix. Les solutions qui s’approchent du point selle s’en éloignent ensuite, mais elles partent dans des directions opposées selon qu’elles sont d’un côté ou de l’autre d’une séparatrice. Le mathématicien René Thom voyait dans le point selle une source d’indéterminisme, car, à son voisinage, deux trajectoires, même proches, peuvent s’écarter drastiquement.

Les courbes définies par des équations différentielles évoluent dans des espaces où l’on trouve des points particuliers, par exemple des points selles ($a$, à la croisée de deux séparatrices en vert) et des points fixes répulsifs $(b)$. En $c$, l’ensemble des solutions du système d’équations est ponctué de divers points remarquables.

Poincaré observe d’autres situations remarquables, tels les points fixes attractifs ou répulsifs, ainsi que les cycles limites, ces derniers trahissant, nous l’avons vu, des solutions périodiques qui attirent (ou repoussent) les solutions voisines. Ces diverses observations conduisent à la démonstration du théorème de Poincaré-Bendixson selon lequel une solution d’une équation différentielle dans le plan ne peut avoir que trois comportements : converger vers un point d’équilibre, vers un cycle limite ou vers un « polycycle », c’est-à-dire une forme dont les sommets sont des points d’équilibre (voir la figure ci-dessous). Ce théorème a une double paternité, car la formulation de Poincaré, dans son mémoire de 1881, n’était pas suffisamment générale et sa preuve n’était pas tout à fait finalisée. En 1901, le mathématicien suédois Ivar Bendixson en proposa une démonstration plus complète.

Le théorème de Poincaré-Bendixson stipule que la solution d’une équation différentielle converge vers un point d’équilibre $(a)$, vers un cycle limite $(b)$ ou vers un « polycycle » $(c)$.

Les démonstrations de Poincaré étaient souvent incomplètes, mais cela lui importait peu et il savait qu’il avait raison. Grâce à ce théorème, la connaissance des points d’équilibre et des cycles limites permet une compréhension globale du comportement qualitatif, en ne faisant aucun calcul. La solution exacte devient superflue ! Poincaré écrira : « Vous me demandez de vous prédire les phénomènes qui vont se produire. Si, par malheur, je connaissais les lois de ces phénomènes, je ne pourrais y arriver que par des calculs inextricables et je devrais renoncer à vous répondre ; mais, comme j’ai la chance de les ignorer, je vais vous répondre tout de suite. Et, ce qu’il y a de plus extraordinaire, c’est que ma réponse sera juste. »

Revenons maintenant au 16ème problème de Hilbert, celui du nombre de cycles limites d’une équation différentielle de degré $n$. Le statut de ce problème n’est pas aussi simple qu’il n’y paraît.

De quoi parle le 16ème problème de hilbert ?
Quand on trace un vecteur en chaque point du plan, on obtient un champ de vecteurs. Imaginons maintenant un point qui se déplace dans le plan et dont la vitesse à chaque instant est donnée par le vecteur associé au point où il se trouve à cet instant. On dit alors que le point décrit une trajectoire du champ de vecteurs. Par chaque point du plan passe une trajectoire. Le but de la théorie des systèmes dynamiques consiste à décrire le comportement de ces courbes du plan : on parle du portrait de phase du champ de vecteurs.
Le vecteur au point $ (x, y)$ a deux coordonnées $(P(x, y), Q(x, y))$. Une trajectoire est une courbe $(x(t), y(t))$ qui vérifie l’équation différentielle :

\[\frac{dx}{dt} = P(x, y) ; \quad \frac{dy}{dt} = Q(x, y).\]

Un cycle limite est une trajectoire périodique qui est de plus « isolée », c’est-à-dire que les trajectoires voisines ne sont pas toutes périodiques.
Le 16ème problème de Hilbert traite du cas le plus simple, celui où les fonctions $P$ et $Q$ sont des polynômes en les variables $x$ et $y$, d’un certain degré $n$. Par exemple, $x^3y^5+xy+1$ est un polynôme de degré $8 (=5+3)$.
L’énoncé précis du problème de Hilbert est le suivant :

« Un degré $n$ étant donné, quel est le nombre maximal $H(n)$ de cycles limites que peut avoir un champ de vecteurs polynomial de degré $n$ ? »

D’abord – Hilbert le savait bien –, nous sommes obligés de nous placer dans un espace à deux dimensions. En effet, quand le nombre de dimensions est supérieur, les équations différentielles peuvent devenir « chaotiques » et posséder une infinité de cycles limites. C’est ce qu’a montré... Poincaré en 1889 dans son mémoire Sur le problème des trois corps qui a été couronné par le grand prix du roi Oscar II de Suède. Le problème portait sur un système formé de $N$ corps célestes dont les mouvements sont régis par la loi de l’attraction universelle de Newton. Poincaré s’intéresse au cas où $N = 3$. Au moment de la publication, le mathématicien Phragmén, chargé de la relecture du manuscrit, découvre une erreur importante, qui oblige Poincaré à revoir entièrement son texte initial. Ce faisant, il fait de nouvelles découvertes qui conduisent à la naissance de la théorie du chaos !

Pendant les 23 années qui suivent l’énoncé du problème de Hilbert, aucun progrès significatif n’est fait sur la question. Puis, le mathématicien français Henri Dulac publie dans le Bulletin de la Société Mathématique de France un long article, intitulé Sur les cycles limites, où il démontre un théorème affirmant qu’une équation différentielle polynomiale dans le plan n’a qu’un nombre fini de cycles limites. Hilbert cherchait à compter le nombre de cycles limites en fonction du degré de l’équation, et peut-être tenait-il pour évident qu’ils étaient en nombre fini. Quoi qu’il en soit, il ne mentionne pas cette question de la finitude. Dulac ne résout donc que partiellement le problème en répondant à une question que Hilbert... n’avait pas posée, du moins explicitement.

Le maître et son élève

En 1957, le mathématicien soviétique Ivan Petrovsky avec son élève Evgenii Landis démontrent le théorème suivant : le nombre de cycles limites est majoré par un polynôme explicite $H(n)$ (du troisième degré en $n$) ; pour $n = 2$, la borne obtenue est $H(2) = 3$. Le 16ème problème de Hilbert était résolu.

Petrovsky était un grand mathématicien, membre de l’Académie des sciences russe, avec des contributions majeures à la théorie des équations aux dérivées partielles. On lui doit également des progrès importants dans l’autre partie du 16ème problème de Hilbert concernant les courbes algébriques. L’Université de Moscou devint l’une des meilleures universités au monde sous sa présidence (1951-1973). En 1966, il présida le Congrès international des mathématiciens qui se tint à Moscou.

Ce palmarès n’a pas effrayé Yulij Ilyashenko, ancien élève de Landis et aujourd’hui professeur à l’Université Cornell, à Ithaca, aux États-Unis, à l’Université d’État de Moscou et président de l’Université indépendante de Moscou. En 1963, alors qu’il était un étudiant en licence, il signala à Landis que la preuve n’était pas correcte. Plus tard, Novikov montra que les tentatives de corrections de la preuve par Petrovsky et Landis étaient vouées à l’échec. Finalement, en 1967, les deux auteurs reconnurent officiellement leur erreur. Toutefois, ce n’est pas parce que la preuve d’un théorème n’est pas correcte que le théorème n’est pas vrai !

L’erreur de Petrovsky fut néanmoins bénéfique, car elle a conduit à un développement important des mathématiques. Le problème de Hilbert concerne des équations différentielles dont les coefficients sont des nombres réels et leurs solutions sont des courbes dans le plan. La grande idée de Petrovsky a été de penser aux coordonnées $x$ et $y$ comme des nombres complexes et, de façon plus impressionnante encore, au temps t comme un nombre complexe. Le système dynamique n’évolue plus dans le plan réel, à deux dimensions, mais dans un plan complexe de dimension 2, c’est-à-dire dans un espace à quatre dimensions ! Les trajectoires sont désormais des courbes de dimension 1 complexe, c’est-à-dire de dimension 2 réelle : ce sont des surfaces. La topologie et la géométrie des espaces à quatre dimensions viennent alors proposer leurs services pour comprendre l’équation initiale. Même si cette méthode a échoué – jusqu’à aujourd’hui – pour le problème de Hilbert, elle ouvre de nombreuses pistes de recherche.

Si tu peux voir détruit l’ouvrage de ta vie...

En 1977, le mathématicien Freddy Dumortier, aujourd’hui à l’Université Hasselt, à Diepenbeek, en Belgique, lit l’article de Dulac de 1923, et émet des doutes quant à son contenu. Plus encore, il se rend compte que personne ne semble l’avoir lu ! La longueur, le style vieillot et la difficulté ont sans doute rebuté la plupart des bonnes volontés. En 1981, Robert Moussu, de l’Université de Bourgogne, veut en avoir le cœur net et envoie une question aux spécialistes : « Croyez-vous en la démonstration de Dulac ? » Parmi les diverses réponses qu’il reçoit, la plupart sont confuses, exceptée celle de Y. Ilyashenko qui a trouvé... une erreur ! Le mathématicien confirme son rôle de découvreur d’erreurs dans le sujet. D’abord, il repère que Dulac utilise implicitement un théorème qui ne sera démontré que 45 ans après. Ces rebondissements posent la question du statut et de la nature d’un théorème (voir l’encadré page suivante) : après tout, si Dulac utilise un théorème qui n’est établi que plus tard, peut-on le considérer aujourd’hui comme une erreur ? Mais le théorème reçoit son coup de grâce : le paragraphe 23 de l’article de Dulac est faux ! En 1981, la preuve de Dulac n’était plus crédible, et le théorème de Dulac n’en était plus un. Personne ne voyait comment réparer cette « preuve ».

Quant au « théorème » de Petrovsky-Landis, il avait aussi reçu son coup de grâce presque à la même époque. Sa preuve était fausse, mais faute de mieux, on avait espéré que son énoncé pourrait être vrai, notamment son corollaire : quand une équation différentielle est du second degré, elle a au plus trois cycles limites. Ce n’était pas le cas.

En 1980, le mathématicien chinois Shi-Songling étudie l’équation

\[ \frac{dx}{dt} =-y-10x^2+5xy+y^2 ; \quad \frac{dy}{dt}=x+x^2-25xy \]
(du second degré) et montre qu’en y ajoutant quelques termes du second degré très petits et bien choisis, on peut faire en sorte que la nouvelle équation ait quatre cycles limites. C’est un contre-exemple au théorème de Petrovsky-Landis dont il ne reste plus rien.

Qu’est-ce qu’une vérité mathématique ?

« Les erreurs des mathématiciens ne sont pas corrigées par la logique symbolique, mais par d’autres mathématiciens ».
De Millo et al. Math. Intelligencer, 1980.

Yulij Ilyashenko, indépendamment de Jean Écalle, a démontré le théorème de Dulac en 1991. Pourtant il est amer : il raconte qu’il a travaillé dix ans sur cette preuve qu’il estime correcte, mais il est persuadé que personne, à commencer par son concurrent français, n’a lu en détail le gros livre où il décrit son raisonnement. Il n’insiste même pas pour que ses propres étudiants le lisent, tant la masse de travail que cela représenterait est énorme et ingrate. La communauté des mathématiciens accepterait-elle un théorème qu’aucun de ses membres n’a lu ? En 1991, le théorème de Dulac est donc ressuscité, mais en quel sens est-il plus vrai que celui de 1923 ? Était-il déjà un théorème en 1923 ?

Selon une définition classique, un théorème est un énoncé qui peut se déduire d’un ensemble d’axiomes en utilisant les règles de la logique. Cependant, cette définition est difficile à vérifier dans la pratique quotidienne du mathématicien. L’immense majorité des preuves mathématiques sont rédigées dans un langage « humain » et contiennent un grand nombre d’affirmations implicites que le lecteur pourrait (en principe) expliciter lui-même. Il serait impossible d’écrire tous les arguments : le texte qui en résulterait aurait une longueur déraisonnable et serait illisible sauf, peut-être, par un ordinateur.

Une « définition » plus pragmatique, utilisable par les mathématiciens en pratique, stipule qu’un théorème est un énoncé accepté par les collègues experts du sujet, par exemple publié dans une revue mathématique avec comité de lecture ! Jusqu’au moment où, peut-être, quelqu’un publiera un contre-exemple, le cas de Dulac étant une bonne illustration. En d’autres termes, un théorème est un énoncé reconnu comme vrai par les mathématiciens, à un moment donné.
Avec une telle conception, l’énoncé de Dulac a été un théorème entre 1923 et 1980, puis ne l’a plus été, avant de reprendre son statut de théorème en 1991. Cette conception est bien éloignée du mythe du « théorème éternel », mais c’est à peu près la seule avec laquelle le mathématicien peut travailler. En progressant, en comprenant mieux le paysage, en étudiant de nouveaux exemples, il peut souvent démontrer des nouveaux théorèmes (c’est-à-dire convaincre ses collègues !), mais il peut aussi lui arriver (heureusement bien moins souvent !) de comprendre qu’un ancien théorème n’était pas correct.

On peut ajouter, pour rassurer le lecteur, que cette « incertitude » ne concerne que les théorèmes qui sont à la frontière de la recherche. Il va de soi que lorsqu’un théorème a une histoire ancienne et que son intérêt est clairement établi, qu’il a été compris par tant de mathématiciens, sous des formes si différentes, que sa véracité n’est plus en doute. Le théorème de Pythagore est vrai !

Ainsi, au début des années 1980, la compréhension du 16ème problème de Hilbert est revenue à celle de 1900, au moment où il est énoncé : on ignore tout. On ne sait plus s’il y a un nombre fini de cycles limites. Les mathématiciens repartent de zéro et leurs efforts sont récompensés, de nouveaux théorèmes voient le jour.
En 1984, Y. Ilyashenko reprend le travail, analyse les erreurs du passé et parvient à un résultat un peu particulier, qui n’est pas celui que souhaitait Hilbert, ni même Dulac : il montre que le « théorème » de Dulac est vrai pour une équation différentielle « assez générale ».

Un peu plus tard, en 1985, le mathématicien chilien Bamon « répare » le théorème de Dulac lorsque l’équation différentielle est du second degré. Les spécialistes reprennent donc du terrain, d’abord peu à peu, puis à un rythme qui s’accélère. En 1987, le quatuor de mathématiciens français composé de Jean Écalle, Jean Martinet, R. Moussu et Jean-Pierre Ramis publie l’article Non accumulation de cycles limites où ils démontrent le théorème de Dulac qui redevient donc un théorème !

Le théorème est exposé lors d’un séminaire Bourbaki, une réunion trimestrielle lors de laquelle les résultats récents sont présentés à la communauté. D’une certaine façon, le fait d’annoncer un théorème dans ce séminaire est une sorte de « reconnaissance officielle ». Le théorème de Dulac était à nouveau officiel ! Il ne l’a été que quelques mois, car au début de l’année 1988, on a compris que la démonstration de la première étape, le lemme 1, n’est pas correcte.

Enfin, en 1991, Y. Ilyashenko démontre (pour de bon ?) le théorème de Dulac. J. Écalle y parvient aussi indépendamment. Près de 70 ans après sa première « démonstration », le résultat de 1923 reprenait sa place parmi les théorèmes avalisés par la communauté mathématique ! Mais rappelons cependant qu’il ne s’agit que d’une petite partie du 16ème problème de Hilbert puisque celui-ci se propose de donner une majoration du nombre de cycles limites en fonction du degré. Le théorème de Dulac-Écalle-Ilyashenko montre « seulement » que le nombre de cycles limites est fini. Que s’est-il passé depuis ? Pas grand-chose d’essentiel...

Bogdanov a tort

En 1984, Quin annonce la preuve du cas $H(2) = 4$, c’est-à-dire qu’une équation différentielle du second degré a au plus quatre cycles limites. Shi-Songling démontre quatre ans plus tard que la preuve est fausse. Cependant, on ne connaît pas encore de contre-exemple. En 1999, le Russe Rifkatt Bogdanov, un mathématicien connu pour ce qu’on nomme aujourd’hui la bifurcation de Bogdanov-Takens, affirme avoir vaincu le cas général. Un an après, Y. Ilyashenko dévoile un contre exemple qui détruit la preuve de R. Bogdanov.

Les multiples rebondissements de l’histoire du 16ème problème de Hilbert invitent à la prudence. Néanmoins, cette histoire représente-t-elle un échec pour les mathématiques ? Non, car plusieurs épisodes ont été l’occasion de progrès importants dans différents domaines, notamment en topologie, en analyse complexe, dans la compréhension des séries divergentes, dans l’étude des systèmes dynamiques, etc. Les questions soulevées ont conduit à d’autres problèmes, par exemple l’extension du théorème de Poincaré-Bendixson au domaine complexe. Cette belle question est née d’un théorème dont la démonstration n’est pas correcte. Et d’une façon générale, aujourd’hui, malgré les erreurs, les retours en arrière et les impasses, on comprend beaucoup mieux les équations différentielles qu’il y a un siècle.

Références

• J. Écalle, Introduction aux fonctions analysables et preuve constructive de la conjecture de Dulac, Hermann, Paris, 1992. Quelque peu... inaccessible !

• Y. Ilyashenko, Finiteness theorems for limit cycles, American Mathematical Society, Providence, 1991. Difficile...

• Le site de Yulij Ilyashenko

• Le texte de Dulac (pour information).

• Un article de S. Cantat sur le théorème de Poincaré-Bendixson (niveau licence).

• Un exposé au Séminaire Bourbaki par J.-C. Yoccoz qui décrit les solutions de Ilyashenko et Écalle. Attention, ce texte est technique !

• Morris W. Hirsch, Stephen Smale et Robert L. Devaney, Differential Equations, Dynamical Systems, and an Introduction to Chaos. Un livre d’introduction à la théorie des systèmes dynamiques (niveau licence).