Choisir des notations

Les enseignants du primaire, du collège et du lycée le savent bien. User de bonnes notations en mathématiques ne va pas de soi et cela nécessite un certain apprentissage pour leurs élèves. L’histoire nous montre d’ailleurs qu’il a fallu un certain temps pour que les notations standards soient fixées, histoire contée dans un livre (en anglais) de Joseph Mazur [2].

Rationaliser la notation permet de résoudre des problèmes. Par exemple, si $\vec{u}$ est un vecteur du plan et qu’on le multiplie par $2$, le résultat est le vecteur $2\vec{u}$ et non pas l’inverse $\vec{u}2$. Imaginez que vous ne choisissiez pas de côté privilégié et que vous autorisiez $2\vec{u}$ et $\vec{u}3$. Que vaut alors $2\vec{u}3$ ? La notation $2(3\vec{u})$ qui fait bien entendu $6\vec{u}$ est bien plus claire et permet d’éviter les erreurs de calcul.

Pour prendre un autre exemple, dans le traité « L’algebra Opera » de Bombelli da Bologna, qui date de 1579, les équations polynomiales sont décrites à l’aide de phrases, et sans noter l’inconnue par un quelconque
symbole. Résoudre une équation polynomiale, requérait alors une gymnastique mentale supplémentaire. Ainsi le mathématicien Girolamo Cardano, qui utilisa une méthode de résolution de l’équation du troisième degré n’écrivit-il jamais ses fameuses formules [3]. À cette époque, résoudre une équation revenait à résoudre le problème suivant.

Trouver un nombre, tel que la somme du cube de ce nombre, et du double de ce nombre vaut $-1$.

Après Descartes, cette équation se formule

Résoudre \[ x^3 +2x+1=0.\]

Remarquons que si, à l’époque de Cardano, on n’utilise pas de notation pour l’inconnue $X$, Bombelli da Bologna utilise dans son livre
des notations pour les différentes racines :

• $R.q.2$ pour racine carrée de $2$,
• $R.R.q.2$ pour racine quatrième de $2$,
• $R.c.2$ pour racine cubique de $2$,
• $R.q.c.2$ pour racine douzième de $2$.

Prenons un autre exemple tiré de la géométrie classique. Le logo et la citation du chapeau de cet article sont tirés du magazine Tangente [4]. Dans un article traitant de la géométrie projective [5], il y est question des transversales de Carnot. Nous reproduisons ici le problème de Carnot et le dessin du magazine.

Transversales de Carnot. La méthode des transversales donne de remarquables propriétés valables pour tout polygone, dont la suivante. Considérons $n$ points $A_1,\ldots,A_n$ du plan. Notons $A_{n+1}=A_1$ et $\Delta_{i,i+1}$ la droite déterminée par les points $A_{i}$ et $A_{i+1}$. Une droite transversale coupe chaque côté $\Delta_{i,i+1}$ au point $B_{i,i+1}$. On considère alors les distances des sommets du polygone aux points de la transversale qui lui sont reliés. Chaque sommet $A_i$ étant relié aux points $B_{i-1,i}$ et $B_{i,i+1}$, notons $d_i=distance(A_i,B_{i-1,i})$ et $D_i=distance(A_i,B_{i+1})$.

Carnot nous annonce alors que le produit des distances, prises dans un sens
ou dans l’autre, est constant. En notations savantes : $\prod_{i=1}^n d_i=\prod_{i=1}^n D_i$.

Pour notre quadrilatère, on obtient :
\[A_1B_{1,2}\times A_2B_{2,3}\times A_3B_{3,4}\times A_4B_{4,1}= B_{1,2}A_2\times B_{2,3}A_3\times B_{3,4}A_4\times B_{4,1}A_1.\]

Les notations dépendent du domaine et du contexte

Même si certaines notations s’imposent, elles dépendent fortement du domaine. Ainsi, pour un arithméticien,
$p$ est très souvent un nombre premier, tandis que c’est une probabilité pour un probabiliste. Ce qui n’empêche pas de
se demander quelle est la probabilité pour qu’un nombre soit premier.

Au lycée, $f(x)$ sera une fonction d’une variable réelle $x$. Dès que l’on utilise des équations différentielles,
$x$ pourra devenir une fonction du temps $t$. Les physiciens écriront même ces équations différentielles sous la
forme
\[\ddot x =-\omega^2 x ,\]
pour une équation simplifiée du pendule [6].

Les notations sont souvent aussi culturelles. Nos collègues allemands sont friands de caractères gothiques, pas évidents à calligraphier, comme celui-ci
𝔤 qui désigne souvent l’algèbre de Lie d’un groupe de Lie.

Une notation célèbre : $\varnothing$

Il faut porter au crédit de l’héritage que nous a laissé le groupe
Bourbaki qui fête cette année ses 80 ans la notation de l’ensemble vide par un caractère scandinave. Pourquoi cette notation ? Voici ce qu’en dit
Weil, cofondateur de Bourbaki [7] qui est à l’origine de ce choix :

Sagement nous avions décidé de faire paraître sur la théorie des ensembles un fascicule qui en fixerait les notations sans attendre l’exposé détaillé qui devait suivre ; il fallait bien poser ces notations une fois pour toutes, et en effet celles-ci, qui modifiaient sur plusieurs points les usages reçus, ont été assez généralement approuvées. Bien plus tard la part que j’avais pris à ces débats me valut le respect de ma fille Nicolette quand je lui dis que j’étais personnellement responsable de l’adoption du symbole $\varnothing$ pour l’ensemble vide, symbole dont elle venait d’apprendre l’usage à l’école. Le $\varnothing$ appartenait à l’alphabet norvégien, et j’étais seul dans Bourbaki à le connaître.

Une notation peut rendre célèbre

Les étudiants de première année d’Université (comme ceux de MPA
à Strasbourg) connaissent ainsi le fameux symbole de Kronecker,
défini par
\[ \delta_{i,j}=\left\{\begin{array}{c} 1 \textrm{ si } i=j \\ 0 \textrm{ si } i\neq j \end{array} \right.\]
mais n’ont pas
la moindre idée du contenu des travaux de ce grand mathématicien.

L’enfer c’est les notations

C’est ce qu’on se dit quand on tombe sur cet article de Vincent Lafforgue,
dont voici un extrait et où l’auteur démontre un résultat extrêmement difficile [8]. L’opérateur $S$
donne le tournis !

Extrait de l’article de Vincent Lafforgue « CHTOUCAS POUR LES GROUPES RÉDUCTIFS ET PARAMÉTRISATION DE LANGLANDS GLOBALE »

Dès que l’on a affaire à des objets mathématiques complexes, on a besoin de beaucoup de notations. Et la question est
souvent compliquée de trouver les notations à la fois les plus simples,
et les plus parlantes possible.

Il faut par exemple éviter d’appeler $F$ une application : $F \rightarrow F$. Cela rend inutilement compliquée la démonstration qui
suit.

Fixer les notations constitue une partie ingrate du travail de rédaction d’un article. Dans un article [9]
qui vient de paraître, les auteurs, Abe et Marmora, ont dû
faire preuve de beaucoup de méthode pour obtenir des notations cohérentes tout au long du texte [10].
Leur article comporte en
effet plus d’une centaine de pages, et, ils y démontrent une formule très importante en théorie des nombres, appelée « formule du produit ». Voici un extrait de l’index de cet article, concernant les « catégories » qu’ils utilisent.

Extrait de l’index de l’article de Abe-Marmora « Product formula for p-adic epsilon factors »

Cependant choisir les notations peut aussi
devenir un plaisir, du moment qu’on choisit des symboles comme

un sha, des diamants ou un cœur

Les caractères latins, grecs et parfois cyrilliques, sont pour le moment
prédominants en
mathématiques, et utilisés par tous nos collègues, quelle que soit leur origine.
Les notations évoluent, et la quantité de signes disponible augmente (il existe plus de 110000 caractères unicode), alors pourquoi ne pas appeler

• un Sha, un Ш [11],

• un diamant, un $\diamondsuit$ [12], ou

• un cœur, un $\heartsuit$ [13] ?

C’est ainsi que dans son article sur le lemme fondamental
 [14], B. C. Ngo
a introduit des ouverts notés ${\cal A}^{\heartsuit}$ et ${\cal A}^{\diamondsuit}$
jouissant de propriétés géométriques particulières.

Ce qui nous amène à la question

Quelles notations les mathématiciennes utiliseront-elles dans un ou deux siècles ?