Comment fonctionne l'intelligence artificielle de Microsoft qui a fait chanter la Joconde

Microsoft a développé VASA-1, une nouvelle intelligence artificielle capable d'animer des images fixes pour créer des vidéos si réalistes qu'elles permettent aux personnages de parler avec une synchronisation labiale presque parfaite et de reproduire des gestes humains naturels. Il a même réussi à transformer la Joconde de Léonard de Vinci en un rappeur devenu viral en ligne.

Cette avancée a été formée à l’aide d’une vaste bibliothèque de vidéos de personnes parlant, pour donner à cette IA la capacité de capturer et de reproduire les mouvements du visage et les gestes subtils tels que le clignement des yeux et la direction du regard.

Ce qui permet de transformer une simple image statique et un fragment de voix en vidéos haute définition où les avatars apparaissent parlant et gesticulant naturellement, créant même l'illusion d'une véritable conversation.