Depuis la mise en ligne, à la fin de l’année 2022, par la société OpenAI de ChatGPT 3.5 je m’intéresse à ses possibilités, mais aussi et surtout à ses limites. Sur cette page, j’ai consigné toutes mes expériences et j’avais en juin 2023 rédigé, sur ce sujet, un billet pour IdM . Au cours des mois passés, des progrès considérables ont été accomplis en matière d’Intelligence Artificielle Générative (IAG) et en particulier dans le domaine de la synthèse d’images. J’invite d’ailleurs le lecteur à visiter mon musée virtuel et à partager mon émerveillement pour ces œuvres qui nous interrogent sur ce qu’est l’acte de création.
Au cours des mois passés, ChatGPT 3.5 à cédé la place à ChatGPT 4o et j’ai évidemment voulu voir si les anomalies identifiées précédemment avaient disparu, ayant entendu dire que de passer de ChatGPT 3.5 à ChatGPT 4o était comme « de passer du singe à l’homme ».
Que l’on comprenne bien ma démarche : il ne s’agit pas de critiquer pour critiquer, mais simplement de voir quelles sont les possibilités (imaginatives en particulier) de ces IAGs, mais surtout leurs limites puisqu’il paraît évident qu’elles vont progressivement envahir notre quotidien : de la recherche d’informations aux armes de destruction massive… J’ai donc reproduit certaines de mes expériences et effectivement avec ChatGPT 4o, il n’est plus question de terres au-delà du Pôle Nord, mais est-ce suffisant ? J’ai consigné mes nouveaux résultats sur cette page et je voudrai ici rapporter quelques uns d’entre eux :
1-En ce qui concerne les nombres premiers, pour ChatGPT 3.5, il existait un « théorème du nombre moyen de Fermat » qui nous apprenait que :
si « a » et « b » sont deux nombres entiers consécutifs, alors il existe au moins un nombre premier « p » tel que « a< p< b »
propriété on ne peut plus stupide. J’ai donc posé à ChatGPT 4o la question suivante :
Est-il vrai qu’entre deux nombres entiers consécutifs quelconques il y a toujours au moins un nombre premier ?
Comme toujours avec les IAGs, poser plusieurs fois de suite la même question conduit presque systématiquement à plusieurs réponses qui diffèrent en général sur la forme, mais assez peu sur le fond. Voici donc deux des réponses obtenues à la question précédente :
réponse 1 : Non, il n’est pas vrai qu’entre deux nombres entiers consécutifs quelconques, il y a toujours au moins un nombre premier. On peut trouver des exemples où il n’y a pas de nombres premiers entre deux nombres consécutifs. Par exemple, entre 90 et 91, ou entre 100 et 101, il n’y a aucun nombre premier.
réponse 2 : Non, il n’est pas vrai qu’il y ait toujours un nombre premier entre deux nombres entiers consécutifs. Entre deux nombres consécutifs, il n’y a souvent aucun nombre premier, car deux entiers consécutifs diffèrent seulement de 1, donc ils n’ont pas de place pour un nombre intermédiaire.
Les réponses obtenues (c’est moi qui ait souligné en gras) furent toutes aussi stupides, en laissant systématiquement entendre que la chose était possible. Et il ne s’agit là que de mathématiques on ne peut plus élémentaires !
2-Une autre question, de culture générale, fut initialement formulée afin de voir si les prompts (les questions posées…) subissaient en quelque sorte un pré-traitement de nature phonétique. J’ai ainsi demandé :
Qui a écrit « L’étroite moustiquaire » ?
ce jeu de mots faisant évidemment référence au roman « Les Trois Mousquetaires » d’Alexandre Dumas ou encore au film « L’étroit Mousquetaire » de Max Linder.
Voici l’une des réponses :
« L’étroite Moustiquaire » a été écrit par l’auteur québécois Monique Proulx. Publié en 1986, ce roman a reçu le prix littéraire de la ville de Montréal et explore les thèmes de la jeunesse, de la rébellion, et des dynamiques familiales complexes dans un style à la fois poétique et incisif.
Toutes les autres ressemblent à cette dernière en changeant le nom de l’auteur présumé (qui tous existent bel et bien) ainsi que la date de publication et quelques détails caractérisant l’œuvre. Le grave problème que l’on rencontre ici, est que toutes les réponses obtenues ont un fort parfum de crédibilité !
Et c’est là une caractéristique de la plupart des réponses obtenues par ailleurs. J’ai ainsi, par exemple, interrogé ChatGPT 4o sur la signification et l’usage de certaines variables d’environnement Linux, certaines existant réellement, d’autres pas : mais dans tous les cas, là-aussi, les informations communiquées semblaient vraies et en les utilisant, elles pouvaient conduire à de graves problèmes et à des pertes de temps certaines.
On notera enfin un point qui interpelle. Tout en bas de la page sur laquelle a lieu le dialogue avec ChatGPT 4o, on peut lire l’avertissement suivant :
ChatGPT peut faire des erreurs. Envisagez de vérifier les informations importantes.
Et celui-ci me conduit à poser plusieurs questions :
1-Qui lit les notes de bas de page ?
2-Si ChatGPT 4o commet parfois des erreurs, à quoi cela sert-il de l’interroger ?
3-S’il est nécessaire de vérifier ses réponses, auprès de qui ou de quoi le faire ?
4-Si progressivement tous les systèmes d’information deviennent des IAGs, ne sommes-nous pas pris alors dans un piège circulaire et diabolique ?
Je ne conteste évidemment pas les possibilités des IAGs (revoir à ce propos mon musée virtuel qui m’émerveille toujours autant…) qui, il y a encore quelques années, relevaient uniquement de la science-fiction. L’un des intérêts subsidiaires que je vois à ces recherches est de nous faire progresser sur la connaissance de nous-mêmes : qu’est ce que la pensée, en quoi consiste l’acte créatif, que sont nos rêves… ? Mais si l’on veut en faire des encyclopédies infaillibles ou encore de précieux conseillers, il y a peut-être encore beaucoup de chemin à parcourir, en particulier pour que les IAGs sachent dire « je ne sais pas »…. Soyons donc conscients aujourd’hui de leurs limites, ce message s’adressant en particulier aux plus jeunes d’entre-nous.
Crédits images
Image à la une : une boule décrite l’aide d’une courbe de Hilbert tridimensionnelle -itération 4- extraite de cette page de l’auteur.