Comment l'IA anime les créatures de feu dans le dernier film de Pixar
Le personnage principal du film, Flam, est une créature élémentaire ardente dont la tête est constituée de flammes en perpétuel mouvement. Dessiner ces flammes et ces courants de chaleur de manière réaliste représentait un grand défi pour les animatrices et animateurs, comme l'a récemment rapporté le magazine technologique Wired. Grâce à la technologie ETH Zurich, ils et elles ont finalement trouvé une solution qui permet à la structure des flammes sur le visage de Flam d'être plus prononcée que ce qui était possible avec les technologies de simulation précédentes.
«Notre technologie confère aux flammes un style unique, ce qui en fait un outil permettant aux artistes de soutenir visuellement une histoire», explique von Barbara Solenthaler, professeure d'infographie à l'ETH Zurich et responsable du groupe Simulation et animation. Sous sa direction, la nouvelle technologie a été développée dans le laboratoire d'infographie de l'ETH Zurich en 2019/2020.
Transfert d'images à l'appui de l'article
La nouvelle technologie de simulation 3D utilise l'intelligence artificielle et permet un contrôle artistique de l'apparence et des structures de la fumée, du feu ou des fluides. Grâce à cette IA, les nuages de fumée, par exemple, peuvent être utilisés spécifiquement pour la narration visuelle. La technologie de l'ETH Zurich peut modifier artistiquement les flammes, les nuages de fumée ou les fluides de manière à ce qu'ils soutiennent l'histoire.
Cette technologie ne contrôle pas la forme extérieure, mais les structures locales de la fumée. Par exemple, elle peut calculer un motif en spirale sur le nuage de fumée. Elle peut tout aussi bien appliquer le style du tableau Nuit étoilée de Van Gogh à la fumée. «Notre technologie est capable de transférer la structure de n'importe quelle image d'entrée à la fumée, aux flammes ou même aux fluides», explique Barbara Solenthaler. Les formations de nuages ressemblant à des lapins sont très joliment illustrées dans une vidéo de son groupe. Dans une autre vidéo, qui vaut également la peine d'être regardée, l'équipe de Barbara Solenthaler montre comment elle peut représenter des phénomènes de flux, de feu et de fumée à la fois de manière artistique et fidèle à la nature.
L'intérêt de Disney a immédiatement été éveillé
La technologie de simulation 3D basée sur l'IA a suscité un vif intérêt de la part des studios Walt Disney peu de temps après sa publication par les chercheuses et chercheurs de l'ETH Zurich. «La technologie a été créée à l'ETH Zurich et son code est en open source», explique Barbara Solenthaler. «Nous avons ensuite transféré la technologie dans les pipelines des studios d'animation Disney et Pixar avec l'aide des Disney Research Studios à Zurich.»
Dès 2021, la technologie de l'ETH Zurich a été utilisée pour la première fois dans le film fantastique animé Raya et le dernier dragon - dans une scène publiée en ligne dans laquelle des formations de fumée circulaires se répandent à partir d'une ruine. «L'effet dans le film Raya était basé sur notre publication de l'ETH Zurich. Pour le film de Pixar Elémentaire, qui est actuellement à l'affiche dans les cinémas suisses, les studios de recherche Disney de Zurich ont développé la technologie et l'ont utilisée pour le personnage principal, Flam», explique Barbara Solenthaler.
Une technologie pour le personnage principal
Plus précisément, Elémentaire présente le personnage principal, Flam, comme une créature de feu dont le visage est constamment animé de mouvements semblables à des flammes. La nouvelle technologie ETH Zurich a permis de transférer une structure de flamme initialement créée artistiquement à l'apparence de Flam, de telle sorte que le feu et les flammes sur son corps semblent extrêmement réalistes. La technologie de l'ETH Zurich a contribué à donner vie à Flam et aux autres créatures de feu qui peuplent Element City, comme l'ont récemment communiqué les studios Walt Disney.
Les chercheurs et chercheuses de l'ETH Zurich n'ont plus participé à l'élaboration finale de ces effets, qui ont été réalisés par les studios de recherche Disney et le studio d'animation Pixar eux-mêmes. La manière dont la tête de Flam a été animée à l'aide de la nouvelle technologie dans le film a également été documentée. «Quand je vois à quel point les effets sont fascinants dans Elémentaire et surtout pour Flam, je suis ravie que notre recherche soit le point de départ de tout cela», déclare Barbara Solenthaler.
