Aujourd’hui, on introduit la notion de « groupe » dans les cours d’algèbre comme un ensemble d’éléments sur lesquels on peut effectuer une opération. On peut penser à un ensemble de nombres avec, comme opération, l’addition ou la multiplication, ou encore à un ensemble de fonctions pour lequel l’opération serait la composition. Par exemple, l’ensemble des entiers relatifs avec l’addition comme opération est un groupe, car il vérifie les quatre règles qui définissent un groupe :

• La première règle est simple : c’est qu’on doit rester dans l’ensemble lorsqu’on effectue l’opération. Ainsi lorsqu’on opère sur deux ou plusieurs éléments de l’ensemble, le résultat doit lui aussi appartenir à l’ensemble. Par exemple, quand on ajoute deux entiers, le résultat est encore un entier.
• D’après la seconde règle, on peut, si l’on doit opérer sur plus de trois éléments, travailler de proche en proche comme on veut, du moment qu’on ne modifie pas l’ordre des éléments. Du point de vue de l’écriture algébrique, cela revient à mettre les parenthèses comme l’on veut quand on effectue l’opération. C’est ce que l’on appelle l’associativité. Dans le cas des entiers, cela signifie que l’on trouve bien le même résultat si l’on fait 2+(3+4) et (2+3)+4.
• Il est aussi essentiel pour la structure que l’un des élements du groupe n’ait aucun effet par cette opération. L’existence de cet objet, qu’on appelle un élément neutre, constitue la troisième règle. Par exemple, sur les nombres, 0 est élément neutre pour l’addition (de la même manière, $1$ est élément neutre pour la multiplication).
• Selon la quatrième règle, on doit toujours pouvoir faire marche arrière ; en termes un peu plus techniques, on suppose qu’en partant d’un objet donné du groupe, on peut toujours en trouver un autre de telle sorte qu’on retrouve l’élément neutre quand on effectue l’opération entre les deux. Par exemple, ceci fonctionne encore en prenant comme groupe l’ensemble des entiers relatifs ($\mathbb{Z}$) et comme opération l’addition : il suffit de faire la somme de n’importe quel entier relatif et de son opposé pour trouver $0$.

Prenons quelques exemples. Certains des ensembles de nombres usuels, munis d’une opération, forment des groupes. Nous avons vu que c’est le cas des entiers relatifs avec l’addition. Les nombres rationnels non nuls ($\mathbb{Q}^*$) avec la multiplication forment également un groupe. De même, l’ensemble des nombres réels et celui des nombres complexes sont des groupes pour l’addition et, si on leur enlève $0$, pour la multiplication. En revanche, l’ensemble des entiers relatifs non nuls ($\mathbb{Z}^*$) n’est pas un groupe pour l’opération de multiplication, car la quatrième règle n’est pas vérifiée. En effet, prenons le nombre $2$ ; il faudrait le multiplier par $\frac{1}{2}$ pour retrouver l’élément neutre de la multiplication, qui est $1$. Mais $\frac{1}{2}$ n’est pas un entier, et donc $\mathbb{Z}^*$ n’est pas un groupe pour la multiplication [1].

Plus généralement, de très nombreuses situations mathématiques font intervenir des groupes [2].

On peut ainsi considérer des groupes de transformations géométriques, comme celles qui laissent invariant un triangle équilatéral [3].

Sur cette figure, il s’agit des rotations $r_1$, $r_2$ et $r_3$ de centre $O$ et d’angle $120°$, $240°$ et $360°$ et des symétries $s_1$, $s_2$ et $s_3$ d’axes $(OA)$, $(OB)$ et $(OC)$.
L’élément neutre est ici la transformation qui ne modifie aucun point de la figure (c’est-à-dire $r_3$).

Ce groupe est donc formé de $6$ éléments (qui sont les transformations géométriques) et l’opération considérée est la composition des transformations (c’est-à-dire l’opération qui consiste à transformer les points successivement par plusieurs transformations).

Mais on pourrait également adopter un autre point de vue sur cette situation, en oubliant la figure géométrique et en considérant simplement que chacune des lettres $A$, $B$ et $C$ doit être transformée en $A$, $B$ ou $C$. On trouve alors six possibilités :

\[ \left( \begin{array}{c} A \mbox{ devient } A \\ B \mbox{ devient } B \\ C \mbox{ devient } C \end{array}\right) \quad \left( \begin{array}{c} A\mbox{ devient } A \\ B \mbox{ devient } C \\ C \mbox{ devient } B \end{array}\right) \quad \left( \begin{array}{c} A \mbox{ devient } B \\ B \mbox{ devient } A\\ C \mbox{ devient } C \end{array}\right) \quad \left( \begin{array}{c} A\mbox{ devient } B \\ B\mbox{ devient } C \\ C \mbox{ devient } A \end{array}\right) \quad \left( \begin{array}{c} A\mbox{ devient } C \\ B\mbox{ devient } B\\ C \mbox{ devient } A \end{array}\right) \quad \left( \begin{array}{c} A \mbox{ devient } C \\ B\mbox{ devient } A\\ C \mbox{ devient } B \end{array}\right) \]

Ou encore : imaginons que l’on mette trois jetons numérotés $1$, $2$ et $3$, côte-à-côte comme sur la première ligne des tableaux ci-dessous, et que, sur la seconde ligne, on essaie de trouver toutes les dispositions différentes possibles (l’opération qui consiste à passer d’une disposition à une autre s’appelle une substitution). On obtient ainsi six substitutions, représentées par les six blocs ci-dessous :

\[ \left( \begin{array}{ccc} 1&2&3 \\ 1&2&3 \end{array} \right) \quad \left( \begin{array}{ccc} 1&2&3 \\ 1&3&2 \end{array} \right) \quad \left( \begin{array}{ccc} 1&2&3 \\ 2&1&3 \end{array} \right) \quad \left( \begin{array}{ccc} 1&2&3 \\ 2&3&1 \end{array} \right) \quad \left( \begin{array}{ccc} 1&2&3 \\ 3&2&1 \end{array} \right) \quad \left( \begin{array}{ccc} 1&2&3 \\ 3&1&2 \end{array} \right) \]

On voit qu’il suffirait de changer les nombres $1$, $2$ et $3$ en $A$, $B$ et $C$ pour se retrouver dans la situation précédente ; et, si l’on revient au triangle, on s’aperçoit que le premier bloc correspond à $r_3$, le second à $s_1$, le troisième à $s_3$, le quatrième à $r_1$, le cinquième à $s_2$ et le dernier à $r_2$.
L’ensemble de six substitutions ci-dessus forme donc, lui aussi, un groupe à six éléments, si l’on prend comme opération celle qui consiste à combiner deux substitutions, en transformant successivement le triplet $1$, $2$, $3$ par la première puis par la seconde. De plus, ce nouveau groupe, même s’il porte sur des objets mathématiques et une opération différents, « fonctionnera » en fait de la même manière que celui des transformations du triangle équilatéral.

Comme le laisse soupçonner cet exemple, le concept de groupe permet aujourd’hui aux mathématiciens de rendre compte d’un grand nombre de situations diverses en raisonnant, en fait, sur un même modèle. C’est d’ailleurs ce qu’explique François le Lionnais (1901-1984), dans l’introduction du chapitre portant sur « la notion de groupe, sa puissance et ses limites » de l’ouvrage Les grands courants de la pensée mathématique, préparé avant la seconde guerre mondiale et publié en 1948 :

« La très grande généralité de cette conception, fruit du génie de Galois dans la première moitié du XIXe siècle, lui permet d’intervenir dans les chapitres les plus variés des mathématiques, d’en relier l’existence et le mécanisme à la structure de l’esprit humain, et peut-être même à l’architecture de l’univers » [4].

Mais si l’on peut attribuer l’enthousiasme de ce mathématicien au développement important que la théorie des groupes avait connu depuis la fin du XIXe siècle et aux résultats majeurs qu’elle avait produits [5], on peut néanmoins douter de ces affirmations quant à l’universalité de la notion de groupe. En particulier, nous voudrions argumenter ici en faveur de l’idée que « la généralité de cette conception » est en fait le fruit d’un processus historique non linéaire, et non une caractéristique intrinsèque. Plutôt que de retracer le développement de la notion de groupe et ses ramifications sur plus d’un siècle, nous proposons pour cela d’analyser certaines des diverses significations que la notion de groupe a pu recouvrir, des années 1830 aux années 1860, en examinant les travaux de trois mathématiciens, Evariste Galois (1811-1832), Arthur Cayley (1821-1896) et Richard Dedekind (1831-1916) .

Le concept de groupe selon Evariste Galois

Évariste Galois, dessiné par son frère

Évariste Galois est le premier à avoir utilisé le mot « groupe » dans un sens autre que celui du langage commun, dans un travail de recherche de 1830 intitulé « Mémoire sur les conditions de résolubilité des équations par radicaux » [6], auquel l’Académie des sciences avait refusé son approbation.
Ce mémoire avait pour objet une question mathématique précise, la résolution des équations, en un sens particulier que l’on appelle la « résolution par radicaux ». Il faut noter que ce problème avait déjà une longue histoire au moment où Galois l’a abordé. On savait depuis le XVIe siècle que pour toutes les équations de degré 3 et 4, il était possible de trouver une formule qui permette le calcul des solutions en ne faisant appel qu’aux quatre opérations usuelles (addition, multiplication, soustraction, division) et aux racines carrées, cubiques ou quatrièmes [7]. On dit d’ailleurs que ces équations sont « résolubles par radicaux » en référence aux racines qui apparaissent dans les formules. On savait aussi que les équations avaient autant de solutions que leur degré [8]. L’un des mathématiciens les plus reconnus de la fin du XVIIIe siècle, Joseph-Louis Lagrange (1736-1813) avait ensuite mené d’importantes recherches pour approfondir la question dans le cas des équations de degré supérieur à 4, mais sans venir à bout du problème. Toutefois, ses Réflexions sur la résolution algébrique des équations (1770-1771) n’en étaient pas moins considérées comme une référence en la matière par la plupart des mathématiciens des années 1830 [9]. Plus encore, le mathématicien norvégien Niels Henrik Abel (1802-1829) avait établi en 1826 que l’on ne pourrait pas obtenir une telle formule qui soit valable pour toutes les équations de degré supérieur ou égal à 5 [10].

Dans ce contexte, Galois, qui connaissait bien les travaux de ses prédécesseurs, cherchait à savoir comment distinguer les équations qu’il était possible de résoudre par radicaux de celles pour lesquelles cela ne l’était pas. Mais pour cela, contrairement à ce que les mathématiciens avaient fait auparavant, Galois a en quelque sorte « détaché » la résolution de ce problème des objets initiaux, c’est-à-dire des équations et de l’expression de leurs racines. Il a concentré son attention sur un nouvel objet mathématique, qu’il a appelé le « groupe d’une équation ». Le raisonnement de Galois consistait en fait à considérer les différentes dispositions selon lesquelles on pouvait écrire les racines d’une équation. Ceci revient à regarder toutes les listes possibles formées à partir des racines $x_1$, $x_2$, $x_3$, …, $x_n$, où $n$ désigne le degré de l’équation, selon un procédé similaire à celui que nous avons vu dans le cas des jetons numérotés [11] . Galois définissait ensuite le « groupe d’une équation » en sélectionnant certaines de ces dispositions, selon un critère plus précis. L’étude de ce groupe permettait à Galois de déterminer si l’équation de départ pouvait être résolue par radicaux.

Reprenons l’exemple que nous avons vu en introduction pour fixer les idées, en notant $x_1$, $x_2$ et $x_3$ les trois racines d’une équation de degré $3$. Cela signifie que l’on part du groupe suivant :

\[ \left( \begin{array}{ccc} x_1 & x_2 & x_3 \\ x_1 & x_2 & x_3 \end{array} \right) \quad \left( \begin{array}{ccc} x_1 & x_2 & x_3 \\ x_1 & x_3 & x_2 \end{array} \right) \quad \left( \begin{array}{ccc} x_1 & x_2 & x_3 \\ x_2 & x_1 & x_3 \end{array} \right) \quad \left( \begin{array}{ccc} x_1 & x_2 & x_3 \\ x_2 & x_3 & x_1 \end{array} \right) \quad \left( \begin{array}{ccc} x_1 & x_2 & x_3 \\ x_3 & x_2 & x_1 \end{array} \right) \quad \left( \begin{array}{ccc} x_1 & x_2 & x_3 \\ x_3 & x_1 & x_2 \end{array} \right) \]

Puis le groupe de l’équation considérée pourrait être formé, par exemple, de :

\[ \left( \begin{array}{ccc} x_1 & x_2 & x_3 \\ x_1 & x_2 & x_3 \end{array} \right) \quad \left( \begin{array}{ccc} x_1 & x_2 & x_3 \\ x_2 & x_3 & x_1 \end{array} \right) \quad \left( \begin{array}{ccc} x_1 & x_2 & x_3 \\ x_3 & x_1 & x_2 \end{array} \right) \]

L’idée de Galois consiste à examiner si ce groupe peut être « redécoupé » (selon des critères précis), puis de recommencer avec le nouveau groupe obtenu et ainsi de suite. Dans l’exemple précédent, la seule façon possible de « redécouper » est de prendre un groupe qui ne contient plus qu’un élément (l’élément neutre, donc ici le premier bloc). On peut alors, suivant le raisonnement de Galois, en déduire que l’équation de degré $3$ est résoluble par radicaux. Cependant, si on s’en tient exclusivement à la démarche de Galois telle qu’elle est présentée dans son mémoire (et non les développements que d’autres mathématiciens lui ont apporté ultérieurement), ceci ne nous dit pas quelles sont les solutions, ni comment faire pour les calculer.

Il faut noter, en outre, que l’exemple que nous présentons ici en guise d’aperçu est en fait assez éloigné de ce que l’on trouve effectivement dans le mémoire de Galois [12]. En fait, la mise en place du concept de « groupe d’une équation » n’y est pas effectuée selon les normes et avec les notations qu’utiliseraient les mathématiciens d’aujourd’hui. De manière caractéristique, le mot « groupe » revient plusieurs fois sous la plume de Galois dans son sens usuel. Plus encore, Galois n’en donne à aucun moment de définition au sens strict, y compris lorsqu’il fait un usage mathématique du terme. On a pu dire que ceci est dû en partie à l’inachèvement général du travail de Galois qui, mort à 21 ans, n’a pas eu l’occasion de le retravailler, ou bien encore que c’était lié à la nouveauté du propos [13]. Mais nous voudrions risquer une autre hypothèse qui repose sur les pratiques « habituelles » des géomètres de l’époque. En effet, ce que l’on considère en mathématiques comme une définition rigoureuse ou une démonstration convaincante peut varier selon les contextes, les périodes, les façons de travailler ou encore les préoccupations scientifiques des mathématiciens [14]. Or, au début du XIXe siècle, il arrivait que l’on utilise un concept sans se préoccuper de le définir « rigoureusement » comme on le ferait aujourd’hui. C’était souvent l’usage que les mathématiciens en faisaient, au cours des démonstrations, qui permettait à ces objets d’acquérir le statut de concepts mathématiques. Par exemple, les débats étaient encore vifs, entre 1800 et 1830, sur l’approche qu’il fallait adopter pour introduire les nombres négatifs, les quantités infinies, ou encore les fonctions dérivées, mais cela n’empêchait pas pour autant les mathématiciens de se servir abondamment de ces concepts dans leurs travaux, ni les professeurs de les enseigner à leurs élèves [15]. Ainsi, la signification que l’on pouvait attribuer au « groupe » dont parlait Galois était construite à partir de l’utilisation qui en était faite, autrement dit : elle était liée exclusivement à la théorie des équations.

Or, il est également important de remarquer que le point de vue adopté par Galois venait heurter ce que l’on considérait, en 1830, comme la « bonne façon » de poser et de résoudre le problème des équations. En effet, que l’on lise les manuels de mathématiques [16] ou les Comptes rendus de l’Académie des sciences, un même constat s’impose : à cette époque, on cherchait moins à savoir si une équation était résoluble d’un point de vue théorique, comme le faisait Galois, qu’à la résoudre d’un point de vue pratique, quitte à n’en trouver que des solutions approchées [17]. Ainsi, ce sont les méthodes de résolution numérique des équations qui permettaient de faire rapidement et facilement le calcul de ces valeurs que les mathématiciens jugeaient les plus intéressantes [18]. Finalement, l’utilisation de la notion de groupe imposait aux résultats de Galois de prendre une forme qui n’était pas « naturelle » selon les critères de son temps, puisque, dans son mémoire, on arrivait à la fin du problème sans avoir sous les yeux la moindre formule donnant les racines, ni même la moindre indication pour parvenir à une telle formule. Plus encore, il était même impossible de suivre sa démarche pas à pas pour savoir si une équation particulière donnée serait résoluble ou pas. Les conclusions de son travail, de ce fait, ne pouvaient se prêter à aucune application : comme l’a écrit Galois, « en un mot les calculs sont impraticables » [19].

L’institut en 1838

Le refus de l’Académie des sciences, en 1831, s’explique sans doute en grande partie par l’inadaptation du travail de Galois aux normes et aux usages mathématiques de son temps. Quinze ans plus tard, lorsque le Mémoire sur les conditions de résolubilité des équations par radicaux a été publié à titre posthume dans le Journal de mathématiques pures et appliquées de Joseph Liouville, le monde des mathématiques n’était déjà plus tout à fait le même [20]. Cette prestigieuse revue, lue par de nombreux mathématiciens en Europe, a alors assuré la diffusion de ce travail.

Mais les mathématiciens qui se sont alors intéressés aux travaux de Galois ne les ont pas tous étudiés dans le contexte de la résolution des équations. Nous allons voir, à travers deux exemples, que la lecture qu’ils en ont faite, et donc la signification qu’ils ont donnée à la notion de groupe, étaient intimement liées à leurs propres préoccupations de recherches et, plus généralement, aux façons de faire des mathématiques qu’ils avaient apprises et qui se pratiquaient dans leur environnement scientifique. Et, comme Galois, l’accueil qui a été réservé à leurs recherches a également dépendu de ces conditions.

Le concept de groupe selon Arthur Cayley (1821-1895)

A. Cayley as un undergraduate (Drawing : T C Wageman © Trinity College, Cambridge)

Entre 1854 et 1859, Arthur Cayley a publié une série de trois articles dans le Philosophical Magazine, qui portent sur ce qu’il a appelé « la théorie des groupes » [21].
Dans ce travail, Cayley commence par expliquer qu’il va utiliser la notation $\theta$ (et, plus généralement, des lettres grecques) comme symbole d’une « opération ». Il précise que cette opération est associative (règle 2) et possède un élément neutre (règle 3) mais que sa nature lui importe peu : ce pourrait aussi bien être une substitution qu’une fonction. Ces opérations, en fait, seront les éléments des groupes qu’il va définir. Il précise en outre qu’il va s’intéresser à la composition de ces opérations (c’est-à-dire à ce qu’on obtient quand on les applique successivement), qu’il appellera plus simplement « produit » par la suite.

Il donne ensuite la définition du mot « groupe », dont il précise en note de bas de page que cette idée provient du travail de Galois sur les permutations :

« On appelle groupe un ensemble de symboles $1$, $\alpha$, $\beta$, …, tous différents et tels que le produit de deux quelconques d’entre eux (quel qu’en soit l’ordre), ou le produit de l’un d’entre eux par lui-même appartienne à l’ensemble » [22].

En conséquence, Cayley remarque que si l’on dresse un tableau conçu comme une table de multiplication, toutes les lignes et les colonnes contiennent la totalité des éléments du groupe (cf. ci-contre).

Dans la suite de l’article, Cayley s’intéresse au cas où le groupe possède 4 éléments, puis au cas où il en possède 6. En examinant les contraintes qui découlent directement de la définition, il montre qu’il n’y a finalement que deux configurations possibles à chaque fois (ou, autrement dit, qu’on ne peut avoir que deux tableaux différents). Il insiste également sur le fait que l’on retrouve l’une ou l’autre de ces configurations dans un grand nombre de situations familières aux mathématiciens, et que « c’est seulement en raison de leur extrême simplicité qu’on ne les avait pas expressément remarquées » jusqu’alors.

Reprenons un instant notre premier exemple du triangle équilatéral. Selon les notations de Cayley, la lettre $\theta$ pourrait désigner n’importe laquelle des transformations $r_1$, $r_2$, $r_3$, $s_1$, $s_2$ ou $s_3$.

Le « produit » $r_1 s_2$ transforme :

• A en C puis à nouveau en A
• B en B, puis en C,
• C en A, puis en B.
  Il s’agit donc, en fait, de $s_1$.

De la même manière, à chaque fois que l’on effectue le produit de deux de ces transformations, on peut voir que l’on retombe sur une autre d’entre elles. Ainsi, selon la définition de Cayley, l’ensemble formé par $r_1$, $r_2$, $r_3$, $s_1$, $s_2$ et $s_3$ est bien un groupe. La table de ce groupe, où chaque ligne et chaque colonne contient tous les éléments une fois et une seule, est donnée ci-contre. Les transformations qui laissent un triangle équilatéral invariant correspondent ainsi à l’une des deux configurations des groupes à 6 éléments qu’avait identifiées Cayley en 1854.

Si l’on revient maintenant à l’article de Cayley lui-même, la première remarque que l’on peut faire ici est qu’il ne s’agit pas d’une simple reprise du travail de Galois, mais bel et bien d’une interprétation de celui-ci. En effet, bien qu’il cite Galois, l’approche du mathématicien britannique paraît sensiblement différente, ne serait-ce que parce que ses recherches sur les groupes ne se situent pas dans le cadre de la théorie des équations, mais dans une perspective beaucoup plus générale. En particulier, les recherches de Cayley ne visent pas à compléter le travail de Galois pour bâtir une théorie qui en serait issue.
En fait, Arthur Cayley s’intéresse précisément à la « forme » que peut prendre un groupe dont on connaît le nombre d’éléments, c’est-à-dire aux différents tableaux que l’on peut obtenir à partir d’un nombre de lignes et de colonnes données. Son raisonnement consiste à considérer l’ensemble des éléments, sur lesquels les combinaisons opératoires constituent des sortes de contraintes : dans la mesure où le résultat du produit de deux éléments doit encore appartenir au groupe, il doit nécessairement être pris parmi ses éléments. Les différents choix possibles constituent donc autant de configurations de groupes différentes. Par exemple, pour un groupe à quatre éléments $1$, $\alpha$, $\beta$, $\gamma$, on arrive à une situation où il n’y a que deux possibilités [23].

Cayley met en place deux notations différentes pour décrire un groupe et faire apparaître les différences entre ces configurations. La première consiste, comme nous l’avons déjà vu, à dresser une sorte de table de multiplication. Pour la seconde notation, Cayley fait la liste des symboles qui constituent le groupe, et la complète avec celle des égalités qui doivent être vérifiées pour que l’ensemble forme effectivement un groupe. Dans le cas d’un groupe à quatre éléments, les deux configurations possibles sont ainsi notées :

\[ 1, \quad \alpha , \quad \alpha^2 , \quad \alpha^3 \quad (\alpha^4 =1) \; ; \]

dans ce cas, tous les éléments du groupe sont les puissances successives de l’un d’entre eux.

Et :

\[ 1, \quad \alpha , \quad \beta , \quad \alpha \beta \quad (\alpha^2=1, \; \beta^2 =1, \; \alpha \beta = \beta \alpha ) \; ; \]

l’un des trois éléments non neutres est le produit des deux autres, mais il faut alors que d’autres égalités soient vérifiées pour que l’ensemble reste un groupe.

Il est important de remarquer ici que, quelle que soit la notation utilisée, les configurations que Cayley met en évidence sont indépendantes de la nature des éléments du groupe : cela pourrait fonctionner aussi bien avec des nombres qu’avec des opérations ou des fonctions. De ce point de vue, la démarche de Cayley pourrait être qualifiée de « générique », et c’est bien une « théorie des groupes » qu’il met en place. Néanmoins, cette théorie n’est pas « la » théorie des groupes au sens où nous l’entendrions aujourd’hui (ou, du moins, au sens où elle est actuellement présentée dans les manuels) : l’objectif de Cayley n’est pas d’étudier les propriétés abstraites que l’on peut déduire de la définition des groupes en général, comme le feront les mathématiciens du XXe siècle. En fait, Cayley s’efforce de fournir une description de tous les groupes qui possèdent un nombre d’éléments donnés, en montrant comment ces éléments sont organisés les uns par rapport aux autres à l’intérieur de l’ensemble. La démonstration est destinée à mettre en évidence les points communs entre des ensembles apparemment divers, et Cayley appuie sa démonstration en donnant plusieurs exemples issus de l’algèbre [24] et un exemple issu de l’analyse [25]. Un trait caractéristique de la démarche de Cayley est ainsi la volonté de lier des domaines mathématiques jusqu’alors conçus comme hétérogènes, en montrant qu’ils sont sous-tendus par les mêmes règles de fonctionnement [26]. C’est ce double principe, « générique » et « organisationnel », qui donne sa signification au concept de groupe que définit Cayley.

Cayley est le premier à avoir proposé un point de vue théorique sur la notion de groupe que Galois avait mise en place. Mais il faut noter ici que la recherche de principes unificateurs est en fait caractéristique de la façon de travailler de certains mathématiciens anglais qui, comme Cayley, ont étudié à Cambridge au début du XIXe siècle et qui forment ce que l’on appelle « l’école algébrique anglaise ».

W. Westall, The Court of Trinity College, Cambridge, from R. Ackermann, A History of the University of Cambridge (1815)

Cette école de recherches, fondée par Charles Babbage (1791-1871), George Peacock (1791-1858) et John Herschel (1792-1871) dans les années 1820, a développé une conception de l’algèbre très différente de celle que l’on pratiquait en France à la même époque et qui était, comme nous l’avons vu, centrée sur les équations. Pour les mathématiciens de Cambridge, l’algèbre était avant tout l’étude des règles opératoires du calcul, indépendamment des objets sur lesquels il porte [27]. Ainsi, la signification que Cayley attribue au concept de groupe s’avère tout à fait conforme à la tradition algébrique anglaise. Elle rejoint par exemple point par point ce qu’un autre mathématicien anglais de l’époque, Augustus de Morgan (1806-1871), définit comme l’algèbre symbolique :

« Si nous voulions expliquer ce qu’est l’algèbre symbolique, nous demanderions d’abord quels symboles doivent être utilisés (sans faire référence à leur sens), ensuite, quelles sont les lois qui opèrent sur ces symboles ; les déductions de toutes les conséquences relèvent de la logique mathématique commune. Enfin, nous expliquerions le sens que l’on doit donner à ces symboles pour que les gens aient des exemples sur lesquels les lois opératoires proposées sont vraies. » [28]

En effet, Cayley a commencé par définir les symboles (les opérations notées avec les lettres grecques), puis une « loi » (la composition et la règle qui définit ce qu’est un groupe). Il en a ensuite déduit « toutes les conséquences », c’est-à-dire les différentes configurations possibles ; et, pour finir, il a expliqué « le sens » de tout cela en présentant des exemples particuliers.

Pour autant, la conformité des travaux de Cayley sur le concept de groupe avec les pratiques algébriques du milieu scientifique dans lequel il évoluait n’a pas suffi à assurer leur succès : ses articles sur les groupes n’ont eu que peu d’écho dans les années 1850-60, y compris dans les milieux mathématiques britanniques. Ceci nous montre que la réception des recherches mathématiques obéit à des règles infiniment plus complexes que celle de l’inscription (ou non) dans les problématiques de leur temps.
En effet, le fait que les mathématiciens anglais du milieu du XIXe siècle travaillent selon une même tradition épistémologique, fondée dans les années 1820, et qu’ils s’accordent entre eux à appeler « l’algèbre symbolique » ne signifie pas que les pratiques de recherches qu’ils développent ne s’en éloignent pas au fil du temps, ni que tous mettent exactement le même sens derrière cette expression. Or, à la fin des années 1850, il semblerait que la question du sens des objets ou de la recherche des principes unificateurs, considérée auparavant comme primordiale, soit finalement passée au second plan derrière les développements foisonnants que promettent de nouveaux objets. Ce sont par exemple sur ces nouveaux objets qu’insiste le manuel d’algèbre « moderne » supérieure rédigé par George Salmon en 1859 (Lessons Introductory to the Modern Higher Algebra), et dont le Philosophical Magazine publie une appréciation plutôt élogieuse :

« Au cours de ces dix-huit dernières années, le champ algébrique, pourtant bien balisé, a vu l’arrivée de nouveaux objets qui répondent aux noms bizarres de « déterminants », « hyperdéterminants », « invariants » […]. Nombreux sont les lecteurs du Cambridge Mathematical Journal, du Philosophical Magazine, des Philosophical Transactions, à s’être demandé ce que tout cela voulait dire – à s’être demandé, parfois, si ces nouvelles expressions et ces symboles avaient un sens. Jusqu’ici, peu de mathématiciens contemporains ont prêté attention à ces sujets. Mais ils commencent à le faire, estimant qu’il y a là quelque chose de réellement prometteur. » [29]

La priorité, ainsi, n’était plus de revenir sur des concepts « génériques », comme celui de groupe, susceptibles de donner un point de vue global sur la discipline algébrique. De ce point de vue, la discipline était suffisamment « balisée ». Dans les années 1860, en Grande-Bretagne, l’actualité de la recherche n’était pas à la synthèse ; elle imposait avant tout que l’on développe les nouveaux objets particuliers auxquels l’algèbre symbolique des années 1820-1840 avait conduit à s’intéresser. En proposant une définition des groupes comme concept « générique » au sens de « susceptible d’unifier des notions pré-existantes », et non comme un concept fécond en lui-même, comme l’étaient ceux de « déterminants » ou d’« invariants », Cayley coupait de fait son travail des priorités algébriques du milieu mathématique auquel il appartenait [30].

Le concept de groupe selon Richard Dedekind (1831-1916)

R. Dedekind

Il est possible, néanmoins, que Cayley ait trouvé au moins un lecteur attentif. En effet, Richard Dedekind, privatdozen [31] à l’université de Göttingen (Allemagne) dans les années 1850, s’intéressait aux travaux de Galois depuis 1856. Si ce thème de recherche lui avait vraisemblablement été suggéré par Gustav Lejeune-Dirichlet (1805-1859), mathématicien bien informé de ces questions et qui venait d’arriver à Göttingen [32], on sait également que Dedekind avait eu entre les mains le numéro du Philosophical Magazine contenant les articles de Cayley [33]. Ainsi, en 1856-1858, au moment où Dedekind enseigne le premier cours universitaire fondé sur les travaux de Galois [34], il a à sa disposition deux façons d’envisager la notion de groupe et de lui donner du sens, celle de Galois et celle de Cayley. On retrouve d’ailleurs la trace de chacune d’entre elles dans le début de son cours.
D’une part, le cours de Dedekind commence par une longue section consacrée aux substitutions, avant de se poursuivre par un exposé de ce qu’il appelle « la théorie de Galois des équations à coefficients numériques indéterminés » : la structure des leçons est donc dictée par le mémoire initial de Galois, et le cours s’inscrit bien, comme ce dernier, dans le cadre de la théorie des équations. De plus, les groupes que Dedekind envisage sont formés du même type d’objets que ceux qu’avait utilisés Galois.
D’autre part, la définition que donne Dedekind de ces « groupes de substitutions » s’avère être très proche de celle que faisait Cayley des « groupes de symboles » :

« Un ensemble G de (…) substitutions distinctes est un groupe (…) si tout produit arbitraire de substitutions contenues dans G est encore contenu dans G » [35].

On voit ici qu’il suffirait de remplacer le mot « substitutions » par l’expression « symboles $1$, $\alpha$, $\beta$, … » pour retrouver la définition de Cayley citée précédemment. Plus encore, Dedekind souligne que l’objet qu’il décrit ici à l’aide de substitutions intervient en fait dans de nombreux autres domaines :

« Les recherches suivantes sont fondées uniquement sur les […] résultats fondamentaux précédents et sur le fait que le nombre de substitutions est fini : les résultats sont donc valables pour n’importe quel ensemble fini d’éléments, objets, ou concepts [satisfaisant ces conditions]. Dans de nombreuses parties des mathématiques, et en particulier en théorie des nombres et en algèbre, on trouve souvent d’autres exemples de cette théorie ; les mêmes méthodes de preuves y sont valables. Nous conserverons, pour plus de simplicité, les notations de la théorie des substitutions, bien que, par la suite, nous fassions également usage de la conception plus générale. » [36]

Néanmoins, si l’on examine plus précisément ce que Dedekind « fait » exactement avec ce concept de groupe, on s’aperçoit que la signification qu’il lui construit est en fait très différente de celles de Galois et de Cayley. D’abord, comme le montre la citation précédente, Dedekind se place sous un angle beaucoup plus large (ou, pour reprendre ses propres termes, « plus général ») que ne le faisait Galois. Mais cette généralité prend également dans son cours d’algèbre un sens tout autre que celui qu’elle avait dans les articles de Cayley.
En effet, dans ses démonstrations, Dedekind ne s’appuie jamais sur l’énumération des éléments qui composent le groupe, ni sur leur mise en ordre dans des tableaux. Il est caractéristique, par exemple, qu’il note le groupe « $G$ » à l’aide d’une seule lettre dans la définition, et non pas, comme le fait Cayley, à partir de la liste des éléments qui le composent. Ainsi, quand il a besoin de montrer qu’un ensemble est bien un groupe, il utilise directement la définition qu’il a donnée au départ, sans passer, comme le fait Cayley, par des calculs sur les éléments qui composent le groupe. De la même manière, lorsqu’il entreprend de démontrer pour ses étudiants les théorèmes sur les équations algébriques qui étaient dans le mémoire de Galois, Dedekind ne fait pas appel à des opérations sur les différentes substitutions qui composent le groupe de l’équation, mais au groupe tout entier, considéré comme un bloc homogène. On pourrait dire, de manière un peu schématique, que Dedekind travaille systématiquement sur l’ensemble tout entier et non sur la liste des éléments qui le composent.
On peut reprendre ici une dernière fois l’exemple d’un groupe à 6 éléments pour comprendre les particularités de la démarche de Dedekind et les différences qu’elle présente avec celles de Galois et de Cayley.

Galois l’aurait noté :

\[ \left( \begin{array}{ccc} x_1 & x_2 & x_3 \\ x_1 & x_2 & x_3 \end{array} \right) \quad \left( \begin{array}{ccc} x_1 & x_2 & x_3 \\ x_1 & x_3 & x_2 \end{array} \right) \quad \left( \begin{array}{ccc} x_1 & x_2 & x_3 \\ x_2 & x_1 & x_3 \end{array} \right) \quad \left( \begin{array}{ccc} x_1 & x_2 & x_3 \\ x_2 & x_3 & x_1 \end{array} \right) \quad \left( \begin{array}{ccc} x_1 & x_2 & x_3 \\ x_3 & x_2 & x_1 \end{array} \right) \quad \left( \begin{array}{ccc} x_1 & x_2 & x_3 \\ x_3 & x_1 & x_2 \end{array} \right) \]

Puis découpé en :

\[ \left( \begin{array}{ccc} x_1 & x_2 & x_3 \\ x_1 & x_2 & x_3 \end{array} \right) \quad \left( \begin{array}{ccc} x_1 & x_2 & x_3 \\ x_2 & x_3 & x_1 \end{array} \right) \quad \left( \begin{array}{ccc} x_1 & x_2 & x_3 \\ x_3 & x_1 & x_2 \end{array} \right) \]

Cayley aurait écrit :

et aurait fait apparaître le découpage possible par un trait gras, délimitant deux sous-parties de trois éléments chacune (chaque partie forme alors la table d’un nouveau groupe) :

Dedekind, quant à lui, le note simplement :

\[ G \]
Il matérialise le découpage en donnant d’abord un autre nom au second groupe (mais sans spécifier ce qu’il contient exactement) : $K$. Il écrit ensuite une égalité comme :
\[ G=K+K\theta \]
où $\theta$ représente un des éléments de $G$ qui n’est pas dans $K$.
En fait, ce type de procédé montre que Dedekind ne cherche pas à savoir « ce qui se passe à l’intérieur » des groupes qu’il utilise. Il les considère en tant qu’ensembles homogènes d’éléments indifférenciés. Dans son cours sur les travaux de Galois, la signification que prennent les groupes est celle d’un nouvel objet mathématique formant un bloc (que l’on peut éventuellement redécouper en blocs plus petits), défini par une propriété caractéristique donnée par avance (la définition que nous avons citée précédemment), et non par l’énumération de ses éléments.

Der Universität in Göttingen, Steel engraving from Bibliographisches Institut Hildburghausen (ca 1850)

Or, de la même manière que l’on retrouve dans le travail de Cayley les traces de la tradition algébrique anglaise, on ne peut manquer de noter que le cours de Dedekind rejoint, sur ce point, les préférences épistémologiques que l’on cultivait à la même époque à l’université de Göttingen [37]. En fait, au moment où il professait son cours d’algèbre, Dedekind travaillait bel et bien au sein d’une « nouvelle école mathématique », caractérisée non seulement par son ancrage géographique mais également par sa façon de concevoir les mathématiques et de les pratiquer. Cette approche, que l’historien des mathématiques José Ferreirós qualifie de « conceptuelle abstraite », consistait à essayer de construire les théories à partir des bases les plus générales possibles, en évitant d’avoir recours à des représentations particulières des objets et en favorisant au contraire des définitions censées, dès le départ, rendre compte des « propriétés intrinsèques » de ces objets [38]. Une telle approche était notamment défendue par Dirichlet, qui fut le maître à penser de Dedekind et qui préconisait, selon une expression devenue célèbre, de « mettre la pensée à la place du calcul » [39]. Elle était également mise en pratique par un autre collègue et inspirateur de Dedekind à Göttingen, Bernhard Riemann (1826-1866), qui cherchait à définir les fonctions à partir de « concepts fondamentaux caractéristiques » et non plus à partir d’une suite d’opérations. Si Dedekind n’a pas manqué de souligner « l’influence » qu’ont pu avoir sur lui ces deux mathématiciens, le concept de groupe offre ici un exemple historique concret de ce que cette expression aux contours souvent flous peut recouvrir.

Il nous reste, pour finir, à évoquer la postérité de l’approche développée par Dedekind pour le concept de groupe. Des trois significations étudiées ici, c’est sans nul doute celle qui paraît la plus « naturelle » aux mathématiciens d’aujourd’hui, qui la qualifieraient volontiers d’« abstraite » ou d’« axiomatique ». Or, paradoxalement, elle n’a connu au départ qu’une diffusion très confidentielle. En effet, le cours de Dedekind est resté sous forme manuscrite, dans les archives de l’Université de Göttingen jusqu’en 1981, et seuls quatre étudiants y avaient assisté entre 1856 et 1858… Si cette façon de définir les groupes semble aujourd’hui si familière, c’est en fait parce que Dedekind a trouvé tardivement un porte-parole très efficace en la personne d’Heinrich Weber (1842-1913). En 1895, celui-ci a rédigé un manuel d’algèbre supérieure qui a connu un grand succès, et où la partie consacrée à la théorie de Galois est directement inspirée de la lecture des cours de Dedekind [40].
Plus encore, ce que les mathématiciens mettaient dans la catégorie « algèbre » a profondément changé au début du XXe siècle. C’est le moment où ce que l’on appelle la « théorie des structures algébriques » a commencé à se mettre en place, à travers les travaux d’une nouvelle génération de mathématiciens qui, précisément, se revendiquaient comme des successeurs de Dedekind et adoptaient donc un point de vue proche du sien [41]. Or, c’est encore dans le cadre de cette théorie des structures que travaillent les algébristes d’aujourd’hui. Ainsi, si ces leçons de 1856-58 peuvent paraître familières à un lecteur d’aujourd’hui, c’est en fait parce que l’algèbre que ce lecteur a apprise à l’université est héritée, du moins en partie, des travaux de Dedekind.

Conclusion

Revenons, au terme de ce parcours, sur la citation de François Le Lionnais :

« La très grande généralité de cette conception, fruit du génie de Galois dans la première moitié du XIXe siècle, lui permet d’intervenir dans les chapitres les plus variés des mathématiques, d’en relier l’existence et le mécanisme à la structure de l’esprit humain, et peut-être même à l’architecture de l’univers ».

La diversité des trois approches que nous avons analysées ici montre que la notion de groupe n’est « pré-inscrite » ni dans le cerveau humain ni dans l’univers. Elle a été forgée, à partir de 1830, dans des contextes sociaux et culturels divers, où il y avait à la fois des façons spécifiques de faire des mathématiques et des idées spécifiques sur ce que sont, ou sur ce que devraient être, les mathématiques. De ce fait, ce concept a pu recouvrir, au cours du XIXe siècle, des significations extrêmement différentes. Celles d’entre elles qui nous semblent les plus « naturelles » ne le sont en fait que parce que notre culture mathématique nous conduit à les voir comme telles.
Néanmoins, ce que l’on peut également lire dans la citation de Le Lionnais, si on la regarde d’un œil différent, c’est tout ce que le concept de groupe, tel qu’il est envisagé aujourd’hui, doit à ce processus historique : une première mise en place dans les travaux de Galois ; une intervention dans « les chapitres les plus variés des mathématiques », comme s’efforçait de le mettre en évidence Cayley ; un concept, enfin, où l’on voit poindre l’idée de « structure », à la manière dont les algébristes du début du XXe siècle ont interprété les travaux de Dedekind. Si le sens que l’on donne aujourd’hui au mot « groupe » en mathématiques n’est pas lié à la nature de l’esprit humain, il l’est bel et bien, en revanche, à l’histoire de ce concept.