Maths, animation et effets spéciaux

Le Morphing

L’art de transformer les images

Piste verte Le 28 août 2019  - Ecrit par  Renaud Chabrier Voir les commentaires (2)

A l’aide de dessins et de peintures animés, cet article analyse les effets et le principe du morphing. Il présente d’abord les notions de transformation, de mouvement dans l’espace et de métamorphose telles qu’elles se présentent pour le dessinateur/animateur. Il montre ensuite comment le morphing aide à comprendre le rôle de la fluidité des images au cinéma. Enfin, il détaille un peu plus la technique du morphing, pour y distinguer ce qui relève plutôt des mathématiques, et ce qui relève plutôt de la perception.

Piste verte ou bleue : un domaine skiable pour lire pendant l’été. Rediffusion d’un article publié le 8 février 2014.

Depuis une vingtaine d’années, tous les effets spéciaux et une grande partie des animations sont réalisés sur ordinateur. Or la machinerie interne des logiciels repose essentiellement sur des mathématiques. Celles-ci influencent donc énormément les images que nous voyons dans les films d’animation, souvent bien plus que les spectateurs et les animateurs eux-mêmes ne le soupçonnent.

Les films de Pixar en sont un parfait exemple : dans Toy Story, Nemo ou Rebelle, les formes qui s’animent à l’écran ne sont pas dessinées à la main comme dans les films classiques de Disney. Elles sont mises en scène grâce à des caméras placées dans un « espace 3D » virtuel, simulé par ordinateur. Dans cet espace, les lumières, les surfaces et les caméras sont calculées grâce à des règles géométriques, pour obtenir les images de synthèse que l’on utilise en animation ou en jeu vidéo.

Dans cet article, vous allez découvrir une autre technique d’animation numérique, aussi importante mais nettement moins bien connue : le morphing. Il permet de prendre directement la matière d’une image en deux dimensions (une photo, une vidéo ou un dessin à la main scanné, par exemple) pour la transformer dans une autre image, avec des résultats parfois surprenants.

Le morphing et la présence dans l’espace

Voici pour commencer un exemple très simple de morphing. Pour cela nous avons besoin de deux dessins. Ici j’ai donc dessiné deux vues d’une sirène de manège, inspirée du Musée des arts forains :

Ensuite, grâce à un logiciel [1], j’ai calculé une série d’images intermédiaires pour créer une transformation de la première image jusque dans la deuxième. L’animation ci-dessous est répétée pour vous permettre de bien la voir.
(Si la vidéo ne fonctionne pas, lisez-la ici)

Comme vous pouvez le constater, cette animation montre un corps qui tourne dans l’espace tridimensionnel. Ça « ressemble à de la 3D », ça ressemble aussi à un « effet de ralenti »... mais avec un dessin qui a l’aspect du papier, plus que de la synthèse d’images 3D ou des films habituels. Comment est-ce possible ?

Tout repose sur la relation entre notre vision et notre perception du mouvement. Regardez un objet réel proche de vous : si vous tournez doucement autour (ou si vous le tournez dans vos mains), vous pourrez facilement sentir sa présence dans l’espace. Tandis que l’objet tourne par rapport à vous, son image se transforme progressivement sous vos yeux. Cela pourrait signifier que l’objet change de forme, mais comme vous savez que c’est votre propre mouvement qui est le responsable du changement, vous interprétez plutôt cette expérience comme une perception de la forme de l’objet dans l’espace [2]. Si maintenant l’objet de votre attention est un corps vivant qui se déplace, les deux effets (votre mouvement et celui du corps en question) peuvent se combiner en une seule sensation spatiale.

Du point de vue de la perception, la synthèse d’image 3D (avec tous ses mouvements de caméra virtuels) et le morphing (avec ses transformations d’images) ne sont donc que deux moyens très différents de faire la même chose : évoquer la présence et le mouvement des corps dans l’espace, grâce à des transformations fluides et continues de l’image.

La vidéo ci-dessous montre ce même effet sur un archaeopteryx, l’un des ancêtres des oiseaux actuels (extrait de "Evolution, des clefs pour comprendre, Hervé Colombani et Véronique Kleiner, CNRS Image 2009)
(Si la vidéo ne fonctionne pas, lisez-la ici)

Entre le fossile « à plat » et la reconstitution de l’animal en vue de trois quarts plongeante, le morphing « déplie » le dessin du squelette dans l’espace pour lui redonner une organisation vivante. Le mouvement est plus complexe que dans la sirène et il fait intervenir plusieurs « calques » [3], mais la logique est la même : toute l’animation du squelette est calculée à partir de morphings entre les seuls dessins ci-dessous, il n’y a aucun « modèle 3D ».

Les transformations : mouvements et métamorphoses

Aborder le morphing en insistant d’abord sur les notions de présence dans l’espace puis de mouvement dans l’espace, ce n’est pas très classique. En effet, la technique a été popularisée sous un tout autre aspect, en montrant des métamorphoses spectaculaires dans le film « Willow » en 1988 et à la fin du clip de Michael Jackson « Black or White » en 1991. Je vous conseille vivement de chercher ces séquences sur internet, vous les trouverez très facilement. L’animation ci-dessous vous montre un exemple de métamorphose plus récent, réalisé à partir de peintures préhistoriques datant de 3000 avant J.-C. :
(Si la vidéo ne fonctionne pas, lisez-la ici)

Cette animation a une petite histoire : le réalisateur Luc Ronat était parti en Afrique du Sud filmer ces peintures rupestres. En se retournant, il a eu la surprise de voir passer les mêmes animaux, au même endroit, mais trois mille ans plus tard ! Alors il a eu l’intuition qu’il était possible de transformer les dessins en animaux réels.

J’ai fait cette transformation en deux étapes : d’abord les animaux dessinés se mettent en mouvement pour quitter leur position initiale, puis ils se métamorphosent en troupeau d’animaux réels.

Cette différence est très importante. Un corps en mouvement change d’aspect au cours du déplacement, mais sa structure ne change pas : sa peau, ses muscles, son squelette, son système nerveux et ses organes restent les mêmes. Au contraire, un corps en métamorphose peut changer complètement de structure et de matière, tout en restant immobile. Dans les deux cas, l’image du corps se transforme, mais l’effet est complètement différent !

Maîtriser le morphing, c’est donc savoir trouver la bonne transformation, celle qui donnera l’effet que nous voulons voir : soit un mouvement, soit une métamorphose ..., soit une combinaison des deux. Ce travail a deux aspects : il faut d’abord définir les grandes étapes de la transformation, ce qui est un travail artistique très lié au dessin. Il faut ensuite traduire cette transformation sous une forme mathématique en utilisant par exemple une « grille de déformation », ou d’autres outils plus précis. Cela se fait à travers un logiciel et constitue un vrai travail d’animation. [4]
À ce moment seulement, l’ordinateur peut alors calculer les images intermédiaires dont nous avons besoin pour créer un mouvement fluide.

Dessiner les transformations, étape par étape

(Note pour les mathématiciens : tout ce qui suit est lié à la différence de perception entre « discret » et « continu »)

Les dessinateurs n’ont pas attendu le morphing pour inventer des transformations. En 1834 par exemple, la caricature du roi Louis-Philippe se transformant en poire sous le trait de Charles Philipon est restée célèbre :

La métamorphose peut aussi être plus poétique et comporter une idée de mouvement, comme le montre Jean-Olivier Héron dans sa série « Comment naissent les bateaux » :

Cet exemple nous mène naturellement aux décompositions de mouvement et au dessin animé. Dans l’exemple ci-dessous, qui est entièrement dessiné sur papier (puis mis en couleur sur ordinateur), vous pouvez voir comment le corps et l’image du lapin se transforment au cours du mouvement :

La succession de ces images crée pour le spectateur l’illusion d’un mouvement, qu’on appelle le « mouvement apparent » :

Comme on le voit, le dessin animé traditionnel n’a pas forcément besoin d’être parfaitement fluide : ici, il n’y a que 20 dessins pour 7 secondes, c’est très peu. Cela n’empêche pas cette animation d’être utilisée en projection sur scène, dans une comédie musicale [5] où elle fonctionne très bien. De façon générale, une grande partie des productions en animation « traditionnelle » joue avec le rythme des images, la fluidité parfaite n’étant qu’une des options possibles.
Les choses se compliquent en revanche lorsque le dessin animé essaie d’imiter en permanence la fluidité du cinéma ... ce que Disney s’est justement employé à faire très tôt. [6]

La continuité des transformations : un enjeu décisif au cinéma

La fluidité fait partie des ressources de création fondamentales du cinéma et de la vidéo. Elle est assurée automatiquement par la caméra, qui fonctionne à 24 ou 25 images par seconde : c’est ce qui est nécessaire pour que les mouvements filmés puis projetés paraissent naturels et non saccadés.
Grâce à cela, la caméra peut par exemple tourner doucement autour d’une actrice, tandis que l’actrice peut elle-même jouer un changement progressif d’attitude. On obtient ainsi un plan qui rend lisibles la présence spatiale et l’intention du personnage. Tout cela n’est possible que grâce à la fluidité du mouvement, autrement dit la continuité des transformations.

En dessin animé, en revanche, créer systématiquement 25 images par seconde représente énormément de travail ! Pour le lapin ci-dessus, il faudrait ainsi 175 dessins au lieu de 20... De plus, un deuxième problème se pose. Lorsque les images sont aussi rapprochées les unes des autres, elles doivent être extrêmement « propres » pour que les petites différences de matières ne provoquent pas de trop fortes « vibrations ». Le dessin animé doit donc souvent choisir entre un dessin plus riche ou une animation plus fluide.

L’aspect révolutionnaire des images de synthèse et du morphing vient alors de la facilité avec laquelle ils permettent de générer des images fluides, indépendamment de la qualité. Tout d’un coup, dans les années 90, la continuité parfaite des transformations est ainsi devenue la norme, et non plus l’exception réservée aux plus grands studios ou aux animateurs les plus acharnés.

  • La solution la plus radicale a été celle des images de synthèse 3D : ne plus utiliser de papier (sauf pour les recherches graphiques), et créer un « espace-temps virtuel » dans l’ordinateur pour pouvoir y déplacer les caméras comme dans un tournage de cinéma.
  • A l’inverse, dans le morphing, la matière première est restée constituée d’images 2D, filmées ou dessinées à la main. C’est la possibilité de dire à l’ordinateur comment transformer ces images qui a tout changé, en offrant (entre autres) la possibilité de calculer des images intermédiaires.

Comment expliquer les transformations à un ordinateur

L’ordinateur ne « sait pas » calculer spontanément des images intermédiaires entre deux dessins. Lorsque nous regardons une décomposition de mouvement dessinée, nous imaginons sans problème les intervalles manquants, mais ceci est une interprétation humaine. Pour écrire un programme, il faut traduire cette interprétation sous une forme plus mathématique.
Ainsi, si l’on exprime la transformation que l’on cherche sous la forme d’une « grille de déformation », on peut cette fois écrire un programme qui calculera des étapes intermédiaires. L’intuition d’une « grille de déformation » est parfaitement illustrée par les images de d’Arcy Thompson : vers 1917, bien avant l’invention des ordinateurs, il a voulu montrer que de nombreuses espèces animales pouvaient être reliées entre elles par des transformations géométriques simples, qui ne changent que les proportions.

Aujourd’hui, l’utilisation d’un logiciel de morphing ressemble beaucoup à ces images. La grille peut avoir une description mathématique sous forme de nombres, et un programme peut donc être écrit pour calculer automatiquement ses états intermédiaires. La déformation des images sera alors ajustée sur celle de la grille.
Mais souvent, une simple grille n’est pas assez précise. On utilise alors des contraintes de déformation qui épousent mieux la forme du dessin, grâce à des « courbes de Bézier » comme ci-dessous :

Munis de ces outils, nous pouvons enfin résumer la technique du morphing :

  • d’abord il faut créer les images A et B
  • ensuite, il faut définir des contraintes de transformation entre A et B. Les objets mathématiques utilisés pour cela (points de correspondance, courbes ou grille) permettent au programme de calculer un chemin de transformation continue.
  • Sur cette base, on calcule séparément les déformations (warping) de A pour aller dans la position de B, et de B pour aller dans la position de A. Sur la figure ci-dessous, vous pouvez voir qu’à la fin de chacune des deux déformations certaines parties du visage sont trop étirées ou trop compressées.
  • Enfin, on combine les deux déformations par un fondu enchaîné, pour ne pas voir la partie exagérée des déformations, et obtenir ainsi la transformation (ou morphing).
    (Remarque : en pratique, l’utilisateur du logiciel visualise directement le morphing, et les deux warping séparés restent « cachés » dans le processus)

Warping et Morphing

Pour bien faire la différence entre le "simple’ warping et le morphing, voici deux vidéos extraites du même documentaire de Luc Ronat (CNRS Images) sur les parfums antiques. Dans les deux cas l’animation sert à rendre lisible ce qui se passe dans une scène de fabrication de parfum.
La première scène est un bas-relief égyptien. Dans ce style de représentation, les personnages sont tous « aplatis » sur la surface. Ils peuvent être animés comme des marionnettes en carton, en les articulant autour de leur position initiale sans avoir à « inventer » le dessin d’une nouvelle position. Je n’ai donc eu besoin d’utiliser quasiment que le warping.
(Si la vidéo ne fonctionne pas, lisez-la ici)

La seconde scène est une fresque de Pompéi. A cette période, les artistes ont beaucoup plus de maîtrise et de goût pour le dessin dans l’espace. Ils peuvent représenter des corps et des actions « en profondeur ». Dans la vidéo ci-dessous, regardez en particulier les Amours qui frappent sur un pressoir : s’ils étaient animés simplement en warping, le résultat ne respecterait pas l’organisation spatiale de leur mouvement, et ce serait un peu ridicule. Dans ce cas, la fresque ne me donnait que la position A (à droite dans l’image ci-dessous) et il a fallu que je redessine moi-même la position B (à gauche), afin de pouvoir faire un vrai morphing entre les deux.
(Si la vidéo ne fonctionne pas, lisez-la ici)

Changer de vision : quand la haute technologie rencontre un très vieil effet visuel

Le morphing rassemble donc deux éléments essentiels : la déformation élastique de l’image ou « warping », et le fondu enchaîné. Le warping sert à mettre la matière de l’image en mouvement, et au cours de ce mouvement le fondu enchaîné permet de nous faire « changer de vision » sur le sujet représenté.
C’est donc un effet combiné des mathématiques et de la perception. Mais c’est aussi le mariage entre la haute technologie et le plus ancien effet spécial du cinéma !

Le warping est donc une invention de mathématiciens-programmeurs, dans les années 1980. A l’origine, ils cherchaient surtout comment déformer les images 2D pour « envelopper » des formes 3D utilisées en images de synthèse. En effet, celles-ci doivent en général être enveloppées par une « texture », comme on ferait avec du papier peint. Du même coup, ils ont trouvé comment déformer une image de façon élastique en passant par des contraintes mathématiques précises (grilles, lignes, points...). [7]
Le warping utilise des mathématiques avancées qui ne peuvent être abordées dans cet article [8], mais le résultat sur l’image est très comparable à ce que l’on peut faire avec une pâte à tarte étalée sur une table, que l’on déformerait avec les doigts. C’est un bon exemple de technologie qui se comprend aussi comme la modélisation d’une réalité physique.

Le fondu enchaîné a une histoire beaucoup plus longue : il est déjà utilisé vers 1900 dans les films de Méliès. Mais on peut remonter plus loin : en 1822, avant d’inventer l’une des premières formes de photographie, Daguerre présentait au public ses « dioramas », des toiles peintes des deux côtés qui, éclairées par-derrière, montraient la fusion progressive entre les deux images.

L’idée d’utiliser le tout nouveau warping pour améliorer le très classique fondu enchaîné, en l’accompagnant d’une déformation, semble être née dans plusieurs studios d’effets spéciaux en même temps, à la fin des années 80. [9] Dans la même période, des chercheurs ont développé les techniques qui permettent de contrôler le morphing non pas avec une grille mais avec des lignes, comme nous l’avons vu plus haut. [10]

Très vite découvert et perfectionné, le morphing de métamorphose est alors devenu une mode, puis comme toutes les modes il a été mis de côté. Cependant, il s’agissait d’une technique si utile qu’elle ne pouvait pas disparaître : elle a continué à être abondamment utilisée et perfectionnée sous d’autres formes, pour créer des effets de ralentissement, des images intermédiaires, des mises en relief, etc. [11].
Aujourd’hui, le warping/morphing peut enfin être analysé comme une technique fondamentale de l’animation numérique, certes plus diffuse que la synthèse d’image mais tout aussi importante en théorie comme en pratique. [12]

Conclusion

Le morphing est donc un outil efficace pour créer des effets spéciaux, qu’ils soient spectaculaires ou subtils. Connaître son principe et la gamme de ses applications permet de comprendre certaines évolutions profondes dans la production d’image des 30 dernières années. Il met particulièrement bien en lumière le rôle de la fluidité dans l’animation et dans le cinéma en général.

Cette fluidité peut être mise en rapport avec une façon de percevoir les formes dans l’espace, et j’espère que cet article aura contribué à le montrer. Quand j’ai commencé mes premières recherches pour « faire tourner les dessins » en 2000, c’est bien ce phénomène qui m’a marqué : grâce à la transformation continue, le morphing permettait de révéler l’information spatiale contenue dans les dessins. Nous sommes ici exactement à la croisée des chemins entre art, mathématiques et sciences cognitives.

Cette découverte donne les moyens de mieux comprendre certaines tendances actuelles : par exemple, que cherche-t-on à montrer à travers l’animation de dessins et de peintures anciennes, qui revient à la mode dans les documentaires, les expositions et sur les réseaux ? Maintenant que nous avons bien pris conscience de la valeur spatiale du morphing, nous pouvons répondre à cette question : en ajoutant le mouvement à des images peintes ou dessinées (sous réserve que le travail soit bien fait), l’animation permet aux spectateurs actuels de redécouvrir une certaine qualité d’espace : celle qui peut être évoquée par la matière du dessin et de la peinture.

Pour vous reposer maintenant de cette lecture et poursuivre l’exploration des images, n’hésitez pas à regarder jusqu’au bout ce film d’animation créé à partir de dessins de Léonard de Vinci, dans la version complète.

Merci pour votre attention !

Post-scriptum :

Pour aller plus loin :

  • plusieurs exemples d’animation utilisant le morphing sont visibles sur mon site www.renaudchabrier.com
  • de nombreux logiciels de morphing gratuits existent, même s’il est difficile d’en conseiller un de façon fiable. On peut les utiliser pour faire des transformations simples de visages. En revanche, un morphing complexe demandera des logiciels plus professionnels.

Un grand merci à mes relecteurs Flandrin, Pierre Gallais, Sylvain Courte et Clément Caubel pour m’avoir bien aidé à clarifier cet article, ainsi qu’à Patrick Popescu-Pampu pour m’avoir proposé de l’écrire.

Je remercie également Véronique Kleiner, Luc Ronat, Bertrand Radigois, Georges Sifianos et José Xavier pour leur soutien au cours de ces recherches et de ces productions.

Article édité par Aurélien Alvarez

Notes

[1Tous les morphings de cet article sont réalisés grâce au plugin Re:Flex, dans le logiciel de compositing Combustion 4.

[2La vision binoculaire qui est sollicitée dans les films ’en relief’ nous donne une information similaire, mais il est plus facile de sentir le phénomène en faisant l’effort de bouger.

[3C’est une façon de décomposer l’image en plusieurs couches qui se superposent, comme dans Photoshop ou Gimp.

[4Il est très important de comprendre que le morphing n’élimine pas l’animateur : au contraire, il faut un bon animateur pour bien déterminer les contraintes de déformations.

[5Blanche Neige de Guy Grimbert et André Manoukian, Bobino, Paris octobre 2013-mars 2014.

[6Dans « La poétique du mouvement » (Musée de la bande dessinée, 2003), José Xavier analyse comment la volonté de reproduire les effets de cinéma a radicalement changé et orienté la pratique de l’animation ...

[7Voir la thèse de Paul S. Heckbert : « Fundamentals of Texture Mapping and Image Warping », Dept. of Electrical Engineering and Computer Science, University of California, 1989.

[8Il s’agit d’algèbre linéaire, comme l’explique ce blog en anglais.

[9Ce documentaire de 8 minutes d’Arsène Chabrier (un homonyme sans aucun lien avec moi) vous racontera l’histoire du morphing avec un point de vue très différent, celui du studio d’effets spéciaux Mac Guff.

[10C’est ce qu’on appelle aussi le « feature-based morphing ». C’est le sujet de l’article « Feature-Based Image Metamorphosis » de Thaddeus Beier et Shawn Neely publié au SIGGRAPH 1992.

[11Les différents plugins développés par la société Re:Vision illustrent parfaitement ces multiples combinaisons de techniques, dont le but est souvent de faciliter ou d’automatiser le calcul d’images intermédiaire.
Par exemple, certains plugin ou logiciels sont capables de détecter automatiquement la correspondance des contours identifiables dans deux photos ou deux images d’un film, avec l’aide éventuelle d’un opérateur humain. Ces correspondances servent alors de base au morphing. Le couplage entre l’analyse d’image et le morphing a ouvert la possibilité du « retiming », qui permet de faire des ralentis extrêmes ou de modifier la vitesse d’une vidéo en gardant la fluidité. Ces méthodes automatiques ne fonctionnent en revanche quasiment jamais sur les dessins, car leur sens dépend trop de l’interprétation humaine.

[12La dualité entre morphing et image de synthèse est illustrée par le parcours de Shawn Neely : ce dernier avait programmé le logiciel de morphing du clip Black and White de Michael Jackson, pour devenir plus tard directeur technique du rendu et des éclairages chez Pixar.

Partager cet article

Pour citer cet article :

Renaud Chabrier — «Le Morphing» — Images des Mathématiques, CNRS, 2019

Crédits image :

Image à la une - Image tirée du film « Le parfum retrouvé » (réal. Luc Ronat)
© Renaud Chabrier/CNRS Images 2012

Commentaire sur l'article

Voir tous les messages - Retourner à l'article

Laisser un commentaire

Forum sur abonnement

Pour participer à ce forum, vous devez vous enregistrer au préalable. Merci d’indiquer ci-dessous l’identifiant personnel qui vous a été fourni. Si vous n’êtes pas enregistré, vous devez vous inscrire.

Connexions’inscriremot de passe oublié ?

Dossiers

Cet article fait partie du dossier « À lire ou à relire cet été» voir le dossier