Extrait du Chapitre 4 - Notre mode de raisonnement dans la prise de décisions (le « test d’hypothèse »)

À la fin des années 1920, à Cambridge, en Angleterre, un groupe de professeurs, leurs
épouses et leurs invités prennent le thé dehors, profitant d’un après-midi agréable.
Après avoir bu une première gorgée, une dame, une tasse à la main, déclare avoir noté
que la saveur du thé est différente selon que le thé est servi avant ou après le lait.
Poliment, bien sûr, une personne fait quelques remarques sur la difficulté d’admettre
ce fait et cela donne lieu à une discussion au cours de laquelle on brandit
toutes sortes d’arguments tirés du monde de la physique et la chimie : la composition
du produit résultant est la même si l’on verse d’abord le thé ou le lait, les particules
dissoutes sont à la fin toutes les mêmes, le degré de température ne peut pas influencer
le goût, etc. Non, il est impossible de distinguer une tasse d’une autre… ou
peut-être a-t-on manqué quelque chose ?
Une des personnes présentes, un homme d’environ 40 ans nommé Ronald Aylmer
Fisher, propose de dissiper tous les doutes possibles au moyen d’une procédure
« révolutionnaire » : effectuer une épreuve de dégustation. Bien sûr, on ne peut pas
procéder avec une seule tasse de chaque type, car la probabilité de tirer l’une d’entre
elles au hasard est juste de 1/2 et l’on ne saurait pas si cela est dû au hasard, ou si l’on
est réellement capable de distinguer un mélange de l’autre. Mais si vous disposez de
4 tasses de chaque type, la probabilité due au hasard est seulement de 1 sur 70 (il y a
70 façons distinctes de choisir 4 objets parmi 8). Dans ces conditions, on peut donc
affirmer avec certitude être en mesure de distinguer une préparation de l’autre avec
une faible probabilité d’erreur, probabilité connue, de surcroît.
À l’époque, Fisher était déjà un professeur célèbre qui publiera en 1935 un
texte de référence ayant marqué un avant et un après dans les stratégies de recueil
de données par l’expérimentation. Son livre, intitulé The Design of Experiments, présente
dans son deuxième chapitre certains des concepts clefs utilisant cette situation
comme fil conducteur.

Le raisonnement précédant la dégustation de thé

Dès le départ, nous supposons que la dégustatrice de thé ne peut pas distinguer les
deux préparations. C’est ce qui nous semble normal et nous croirons en ses capacités
uniquement si les données recueillies dans le cadre d’une expérience bien conçue et
contrôlée vont à l’encontre de l’hypothèse initiale. « Aller à l’encontre » signifie que
nos résultats sont peu probables dans le cas où l’on ne sait vraiment pas faire la distinction
et nous définissons ainsi ce que nous entendons par « peu probable » : ce qui
survient dans moins de 5 % des cas, dans moins de 1 % des cas ou toute autre valeur.
Si nous sommes disposés à nous fier à l’expérimentation seulement si ses résultats
peuvent se produire par hasard (c’est-à-dire, sans aucun mérite de la part de
la dame) dans moins de 5 % des cas, on ne pourra pas se contenter de faire goûter
3 tasses de chaque type puisqu’il existe 20 façons possibles de choisir 3 objets parmi
6 et qu’il n’y a qu’une manière correcte de le faire. Donc, la possibilité d’y arriver
par le seul hasard est de 1 sur 20, soit 5 %. Ce n’est pas difficile à déduire : la première
tasse peut être choisie parmi 6, la deuxième parmi 5 et la troisième parmi
4. Nous avons donc $6 \times 5 \times 4 = 120 $ façons de choisir 3 tasses, mais ce calcul tient
compte de l’ordre dans lequel les tasses ont été choisies, c’est-à-dire en supposant
que nous les avons étiquetées avec les lettres $A$ à $F$ et que nous avons compté
comme des cas distincts le tirage $FDA$ et le tirage $ADF$. Afin d’ignorer les situations
répétitives, nous devons les diviser par le nombre d’ordres qui peuvent survenir avec
3 tasses $(3 \times 2 \times 1 = 6)$. Par conséquent, le nombre de choix possibles de 3 tasses
dans un groupe de 6 est égal à 120 / 6 = 20. Si nous avons 4 tasses de chaque
type, le nombre de sélections possibles de 4 tasses sera : $8 \times 7 \times 6 \times 5 / 4 \times 3 \times 2 \times1 = 70$, et comme il n’y a qu’un seul ensemble de 4 tasses dans lequel on a
versé d’abord le thé, puis le lait, la probabilité de le trouver par hasard est de 1 sur
70, soit 1,4 %. Si l’on se trompe d’une tasse sur les 4 tasses choisies, on ne pourra
pas considérer raisonnablement que l’on sait les distinguer, puisque la probabilité
que cela se produise par hasard est d’environ 23 %.
Mais nous ne devons pas tout miser sur le seul raisonnement mathématique. Il
faut également être attentif aux détails lors de la réalisation de l’expérience et ne pas
donner d’indices à la dégustatrice… Fisher a donc insisté expressément pour que
les tasses soient présentées dans un ordre aléatoire :

« Notre expérience consistera à préparer huit autres tasses de thé, quatre
selon un type de préparation et quatre selon l’autre type, et à les apporter
ordre aléatoire) à la dégustatrice pour qu’elle nous donne son opinion.
On lui expliquera préalablement en quoi consistera le test : on lui apportera
huit tasses de thé, quatre de chaque type, dans un ordre aléatoire (décidé
par des dés, la roulette, des cartes, etc. ou tout simplement par des numéros
tirés au hasard) et sa tâche consistera à séparer les deux séries de 4 tasses en
les classant, si elle le peut, selon qu’a été versé en premier le thé ou le lait. »

Qu’est-il arrivé ensuite ? Fisher ne raconte pas dans son livre quel a été le résultat
de l’expérience, mais parmi les personnes présentes se trouvait le professeur Hugh
Smith, qui a raconté cette histoire à David Salsburg, auteur d’un excellent livre sur
l’explosion des statistiques au XXe siècle, The Lady Tasting Tea. L’ouvrage commence
par raconter cette histoire, qui, bien sûr, donne son titre au livre. Le professeur Smith
nous raconte que, finalement, la dame a bien identifié chacune des tasses.

Ronald Aylmer Fisher :
un homme en adéquation avec son époque

Ronald Aylmer Fisher

Né en 1890, le scientifique Fisher avait reçu
une formation solide en mathématiques et
se distingua par ses contributions importantes
dans les domaines des statistiques et
de la génétique. Bien qu’il n’existe pas de
classement officiel dans ce domaine, il fut
sans aucun doute l’un des statisticiens qui
contribuèrent le plus aux statistiques durant
le XXe siècle, sinon le plus grand.
Selon certaines sources, il fut un enfant chétif,
mais avide d’apprendre et se montra intéressé
par l’astronomie. Il eut également de
graves problèmes de vision, si bien que les
médecins lui interdirent de lire à la lumière
artificielle (qui ne ressemblait pas à celle que
nous utilisons aujourd’hui). Cela réduisit ses
possibilités d’étudier et, afin de ne pas subir de retard, il eut un professeur de mathématiques
qui lui apportait ses enseignements sans papier, crayon, ni autre type d’aide visuelle, ce qui lui
permit de développer une profonde vision géométrique qui, plus tard, l’aida à aborder et à
résoudre des problèmes difficiles avec une approche géométrique très originale.
À 29 ans, avec sa femme, qui avait alors 20 ans, et leurs trois enfants (d’autres choses qui changèrent
dans sa vie), il déménagea dans une ancienne ferme à proximité de la station agricole
expérimentale de Rothamsted, au nord de Londres. Il avait été embauché par les propriétaires de
ce centre, des fabricants d’engrais, qui avaient l’intention de mettre de l’ordre dans les énormes
quantités de données collectées durant plus de 90 ans d’exploitation de la station.
Fisher démontra qu’en raison de la manière dont avaient été recueillies les données, l’influence
de la pluviométrie et des conditions météorologiques en général avait occulté l’influence possible
des engrais qui avaient été testés. Dans la terminologie d’aujourd’hui, nous dirions que ces
deux facteurs étaient « confondus ». Mais il ne se contenta pas de signaler ce qui n’allait pas,
il expliqua aussi la conduite à tenir et publia un livre, The Design of Experiments, qui marqua le
début d’une ère nouvelle dans les planifications expérimentales de collecte de données et qui
eut un impact majeur sur la recherche agricole et industrielle.

The Design of Experiments

Un livre classique et innovant dans son domaine, dans lequel Roland Fisher utilise l’exemple de la dégustatrice de thé pour illustrer les idées clés de sa méthode de raisonnement.

[...]