Decart, une startup israélienne, lance Mirage LSD (Live-Stream Diffusion), le premier modèle vidéo qui réinvente le live streaming en permettant d'appliquer des styles visuels dynamiques sans interruption, via de simples prompts.
Decart a lancé Mirage, le premier modèle vidéo d'IA de diffusion en direct (LSD) qui « insère votre imagination dans n'importe quel flux vidéo en direct ». En simple, la nouveauté de Mirage LSD consiste à assurer une cohérence et une stabilité visuelle, deux aspects essentiels souvent défaillants dans d'autres systèmes de génération vidéo basés sur des modèles de diffusion. Le résultat (visible ci-dessus) consiste à proposer une transformation fluide de scènes en direct, ou comment modifier un livestream de Fortnite en environnement sous-marin ou en changeant le style en cyberpunk ou anime.
Le système utilise une architecture autorégressive qui génère chaque image à partir de la précédente, garantissant une cohérence sur une durée potentiellement infinie. Des calculs optimisés réalisés sur des puces Nvidia permettent d'atteindre un débit de 20 à 30 images par seconde avec une latence quasi nulle. Cette performance représente un bond en avant important pour la vidéo IA en temps réel et ouvre de nouvelles perspectives pour le livestreaming sur Twitch, TikTok ou encore Instagram. Decart envisage déjà de développer des sorties en HD et en 4K, ainsi que d'introduire de nouvelles fonctionnalités pour un montage vidéo plus précis et personnalisé.
Innovations et applications multimédia : bienvenue dans la matrice...
Mirage LSD se distingue par sa capacité à non seulement transformer de simples vidéos (video-to-video), mais aussi l'expérience directe et concrète d'un jeu vidéo. Lors d'une démonstration, Decart a utilisé Oasis, son modèle générateur de 3D à la Minecraft, où les utilisateurs peuvent interagir avec un monde virtuel en perpétuel changement. Cette interactivité ouvre la voie à des formats de jeu innovants et à des expériences immersives inédites, tout en posant des défis en termes de stabilité et de préservation du contexte narratif.
Derrière cette prouesse se cache un développement minutieux, impliquant l’écriture de code bas niveau pour extraire le maximum de performance des architectures matérielles modernes. Le fondateur, Dean Leitersdorf, reconnaît que seuls les plus grands laboratoires d’IA disposent habituellement de telles capacités techniques, mais il ambitionne de positionner Decart comme un acteur incontournable dans ce domaine. L’intégration de prompts variés permettant des modifications instantanées pousse l’utilisateur à explorer des mondes visuels qui étaient jusqu’alors confinés aux terrains de la science-fiction. Un aspect vertigineux à considérer avec des modèles comme Mirage c'est ce que cela suggère lorsque l'usage sera généralisé. Est-ce que l'information telle que nous la connaissons sera encore une réalité ? Ce que nous verrons en temps réel, en livestream, pourrait bientôt n'avoir aucune "réalité" si nous ne sommes pas physiquement présents pour l’observer.
Partagez cet article
