ROCK, PAPER, SCISSORS l’anime incroyable réalisé avec l’IA, début d'une nouvelle ère dans l'animation ?

Voici un extrait de l'anime - ROCK, PAPER, SCISSORS - réalisé par Corridor Digital à partir de séquences vidéo et grâce à la magie des outils d’intelligence artificielle Stable Diffusion, Dreambooth et Unreal Engine, DaVinci Resolve.

Les créateurs de Corridor Digital ont utilisé une approche différente dans la réalisation de ce court métrage d'animation. Au lieu de dessiner chaque image à la main, ils ont utilisé des éléments réels pour les transformer en animation grâce à l’IA. Ils ont d’abord enregistré le dialogue, puis ont créé les costumes et les décors, avant de les poser devant la caméra.

Le studio ainsi documenté son travail en diffusant une vidéo “making-of” très détaillée dans laquelle on comprend tout le processus de création. Dans cette vidéo, les créateurs évoquent les problèmes qu'ils ont rencontrés et comment ils les ont résolus.

Un making-of aussi intéressant que l’anime

Pour parvenir à cette nouvelle façon de transformer la réalité en dessin animé avec des outils IA. Les créateurs ont découvert que le processus de diffusion pouvait être utilisé pour générer une image à partir de bruit, tout comme nous imaginons une image à partir d'une tache d'encre. Et pour résoudre le problème des “clignotements” de style, ils ont développé une nouvelle technique grâce à laquelle ils ont transformé le bruit en image, puis inversé l'image en bruit. Ce qui améliora considérablement la qualité de l'animation. Ils ont ensuite utilisé le plugin D flicker dans DaVinci Resolve pour supprimer les clignotements de lumière.

Le résultat est bluffant. Un superbe dessin animé, avec de très beaux dessins, une belle histoire et une action intense autour d’un combat “pierre, feuille, ciseaux”. Cette approche offre une alternative intéressante à la traditionnelle animation dessinée à la main et peut réduire considérablement les coûts de production.

Cette nouvelle technique d'animation qui permet de transformer la réalité en dessin animé avec une qualité inédite offre de nombreuses possibilités et pourrait fournir un moyen de démocratiser l'industrie de l'animation. Et permettre au plus grand nombre de créer des films d'animation de qualité, sans avoir besoin de compétences artistiques avancées. Elle peut également réduire les coûts de production et permettre à de petites entreprises ou à des créateurs indépendants de rivaliser avec les grands studios.