Intelligences artificielles génératives et synthèse d’images

Au cours des mois passés, j’ai fait de nombreuses expériences avec les IAG de textes : Bard/Gemini « expérimental », ChatGPT 3.5 et Le Chat -version bêta-.

Elles avaient toutes montré d’une part que ces IAG étaient capables d’une imagination débridée et d’autre part qu’il n’était en général pas possible de leur faire confiance lors de la recherche d’informations fiables (je rappelle à ce propos les hallucinations et élucubrations mathématiques de ChatGPT 3.5 et autres…).

Avec l’arrivée des IAG d’images, il était tentant de refaire de telles expériences : on peut en voir les résultats dans un « Musée virtuel du vingt-et-unième siècle ». Les conclusions qui en furent tirées sont de même nature : là-aussi, d’une part une imagination « inimaginable », d’autre part la difficulté, voire l’impossibilité d’obtenir exactement les représentations demandées les plus simples et enfin celle de générer deux fois de suite la même image.

Trois critiques m’ont été adressées suite à la mise en place de ce Musée. D’une part, il ne peut s’agir d’Art car celui-ci ne peut naître que du vécu (et de la souffrance ?). D’autre part, il ne peut être question de créativité s’agissant de machines. Enfin, on ne peut pas confondre ces images avec des œuvres « originales ».

Evacuons immédiatement le problème des artefacts : en effet, un problème semble-t-il connu des concepteurs, perturbe les mains, les membres ou encore le visage des éventuels personnages lorsque leur taille est petite par rapport au cadre de l’image. Cela permet de faire le tri entre les œuvres « classiques » et celles venues des IAG, bien que certains artistes tels Jean-Michel Basquiat, Paul Rebeyrolle ou encore Egon Schiele n’ont pas hésité à en faire de même volontairement.

Maintenant, pour répondre à ces objections, examinons quelques images extraites de cette collection :

 

 

 

 

 

 

Ces quelques images obtenues quasi-instantanément en « évoquant » les noms de Jerôme Bosch, Rembrandt, Jean-Baptiste Camille Corot, Salvador Dali  et Hans Ruedi Giger sont évidemment associables aisément à ces artistes. Cela signifie au passage que l’IAG, lors de son apprentissage, a été capable de formaliser le style (et les cauchemars en ce qui concerne Hans Ruedi Giger…) des artistes rencontrés, lui permettant de créer des images à la manière de par la suite. Ces dernières ne sont pas de simples copies d’œuvres originales avec quelques altérations, ou encore des copier-coller. Non, il s’agit bien d’images (prudemment je ne dis pas « œuvres ») nouvelles ressemblant dans leur style, leurs couleurs, leurs lumières,… à des images anciennes, voire très anciennes.

Si l’on regarde attentivement, par exemple, l’image faite dans le style de Rembrandt, il me semble qu’il faudrait être de très mauvaise foi pour ne pas y retrouver le style du peintre de Leyde dans l’usage de la lumière, les personnages et leurs costumes, le décor et les mets, l’ambiance,… alors qu’elle ne figure pas dans le catalogue raisonné de l’artiste ! Comment cela est-il possible ?

 

 

Ces deux images qui font référence à Botticelli montrent clairement les capacités créatives de l’IAG. La locomotive, même si elle n’est pas fonctionnelle, présente des décorations tridimensionnelles typiques de la Renaissance italienne, mais surtout son panache de fumée rappelle évidemment l’une des œuvres majeures de l’artiste : « La Naissance de Vénus »… Quant à l’avion, il montre que l’IAG a appris ce qu’était un avion : une machine destinée à transporter des personnes (d’où le carrosse) dans les airs (d’où les ailes d’oiseau) et disposant de moyens de propulsion (d’où le cheval). Il me semble que peu de créateurs auraient imaginé un tel équipage et alors, si l’IAG a produit cette image tridimensionnelle cohérente, n’a-t-elle pas fait preuve de créativité ? La réponse me parait évidente et du coup, il nous faut nous interroger sur ce qu’est notre imagination : ne serait-elle pas « simplement » issue du brassage incessant du contenu de notre mémoire alimentée en permanence par nos sens et du coup ne serions-nous pas plus prévisibles qu’on le croit ?

Cette IAG, comme la plupart des autres, repose sur les notions :

• de neurone formel,
• de descente de gradient (lors des phases d’apprentissage),
• d’espace sémantique ES de grande dimension contenant des tokens (des morceaux de mots), des mots isolés ou encore des groupes de mots rangés de façon à ce que la distance géométrique corresponde à une certaine distance sémantique,
• d’espace iconographique EI de très grande dimension contenant des images encodées et rangées de façon à ce que des images qui se ressemblent soient proches l’une de l’autre,
• de réseaux de neurones formels mettant en évidence les « liens » entre ES et EI,
• de processus aléatoires de choix, de bruitage/débruitage et de diffusion,
• de réseaux antagonistes destinés à juger les résultats, voire à les invalider en cas, par exemple, de non respect des convenances,
• etc.

Tout cela peut aider à comprendre comment une image inédite spécifiée par un prompt simple tel un chat peut être obtenue. Mais qu’en est-il d’un prompt plus subtil tel un avion à la façon de Botticelli ou l’on voit une sorte de « réécriture » de « avion » en {carrosse,oiseau,cheval}. Cela malheureusement ne me suffit pas non plus pour expliquer :

• la possibilité d’avoir dans un même prompt plusieurs notions très différentes,
• la cohérence dans les interactions des objets et des personnages entre-eux,
• l’homogénéité et l’unité,
• la lumière et les ombres portées,
• la tridimensionnalité,
• sans oublier la rapidité des processus (quelques dizaines de secondes pour un groupe de quatre images voisines, alors que nombreux doivent être ceux qui font les mêmes expériences à un instant donné),
• etc.

Et enfin, qu’en est-il des concepteurs de cette IAG ? Sont-ils eux-mêmes surpris par les merveilles obtenues ? Et finalement n’y aurait-il pas émergence non pas d’une Intelligence Artificielle (IA), mais d’une Intelligence Nouvelle (IN) ?