Si la Chine suit uniquement l’innovation du modèle économique d’OpenAI, elle ne pourra jamais créer GPT-4 et Sora.
Source : Nouvelles chinoises hebdomadaires
Sans son, quelle que soit la qualité de la pièce, rien ne peut arriver.
Entrez « Medieval Trumpeter » dans la boîte de dialogue, activez le commutateur d'effet sonore, cliquez sur Générer une vidéo et une vidéo générée par l'IA de 4 secondes apparaîtra à l'écran. Non seulement les gens peuvent voir l’image d’un musicien portant des vêtements de cour médiévaux, mais ils peuvent également entendre le son du musicien jouant de la trompette.
Le 10 mars, heure de Pékin, le laboratoire Pika (ci-après dénommé Pika), une startup d'IA de la Silicon Valley, a lancé une nouvelle fonction de son modèle de génération vidéo auto-développé, qui peut générer simultanément des images et des sons. Auparavant, toutes les vidéos générées par l’IA que les gens voyaient n’avaient aucun son. Cette fonctionnalité n’est pas encore ouverte au public, mais elle suffit à donner un aperçu de la rapidité avec laquelle l’IA évolue.
Le 16 février de cette année, OpenAI a publié Sora, un grand modèle de vidéos générées par texte. Sur la base de quelques invites simples, Sora peut « comprendre » avec précision le texte et générer une vidéo de 60 secondes, attirant l'attention du monde entier. Certains initiés de l'industrie ont qualifié l'avènement de Sora de « moment ChatGPT » dans le domaine de la génération vidéo. Le 8 mars, heure locale, après plusieurs mois de drames de « combats de palais », le fondateur d'OpenAI, Sam Altman, est revenu au conseil d'administration et a continué à promouvoir la mission de l'entreprise consistant à réaliser l'intelligence artificielle générale (AGI).
Que signifie l’émergence de Sora ? Jusqu’où sommes-nous de l’AGI ? Où ira l’IA ensuite ?
Une vidéo générée par texte publiée par Sam Altman, le fondateur d'OpenAI, sur une plateforme sociale. Image/IC
Une autre vérification de « La force peut faire des miracles »
Avant la sortie de Sora, OpenAI n'a pas divulgué au monde extérieur son idée d'entrer dans Vincent Video. Jusqu'au début de cette année, la piste vidéo mondiale de génération de texte était toujours axée sur des start-ups telles que Pika, Runway et Stability AI.
Fin novembre de l'année dernière, le produit vidéo Vincent de première génération de Pika a été lancé. Les utilisateurs ont saisi le mot-clé « Musk portant une combinaison spatiale, animation 3D », et une version dessinée de Musk est immédiatement apparue. Derrière lui, une fusée SpaceX. est monté dans le ciel. Dans les airs, la vidéo ne dure que trois ou quatre secondes, et la clarté et la douceur dépassent de loin les autres produits. À cette époque, Meng Chenlin, co-fondateur de Pika, analysait dans une interview : « La raison pour laquelle GPT n'est pas utilisé dans les vidéos est peut-être due au fait que leurs ressources et leur main-d'œuvre sont concentrées sur des modèles de texte.
Plus de deux mois plus tard, Sora faisait des débuts époustouflants. Dans la dernière vidéo présentée par son directeur technique, l'entrée "un vol à travers le musée, admirant de nombreuses peintures, sculptures et diverses belles œuvres d'art en cours de route", l'IA générera une vidéo de 60 secondes, et les gens suivra la caméra de Plongez dans le musée depuis les airs, traverserez plusieurs galeries et salles et passerez devant des sculptures.
Liu Ziwei, professeur adjoint à l'École d'informatique de l'Université technologique de Nanyang à Singapour, a déclaré à China News Weekly qu'il n'était pas surprenant qu'OpenAI soit entré dans la piste vidéo de Wensheng. OpenAI a toujours prétendu parvenir à une AGI universelle. « Vers l'AGI, l'IA doit non seulement « lire des milliers de livres », mais aussi observer divers phénomènes physiques dans le monde. OpenAI se développera certainement dans des domaines multimodaux tels que le texte, les images, l'audio et la vidéo. La vidéo est la clé de le développement du multimodal L'étape la plus importante de la situation contient les lois fondamentales du fonctionnement du monde.
Liu Ziwei est toujours choqué par les effets vidéo générés par Sora. Liu Ziwei a commencé ses recherches sur la génération de vidéos IA il y a trois ans. Par rapport au texte et aux images, la génération de vidéos IA est techniquement la plus difficile, nécessitant une haute résolution, une fluidité du contenu et une cohérence des données vidéo, ainsi qu'une puissance de calcul élevée. Avant Sora, la plupart des produits du même type sur le marché produisaient des vidéos avec une basse définition, un scintillement d'écran et une déformation des caractères. Les vidéos générées par Sora peuvent conserver une bonne cohérence tridimensionnelle. Le contenu généré, tel que le mouvement de l'eau et des nuages, les oiseaux volant dans la forêt, etc., et l'interaction entre le sujet et l'environnement peuvent montrer dans une certaine mesure l'authenticité du monde physique.
Dans le rapport technique de Sora publié par OpenAI sur son site officiel, il a souligné l'importance de Diffusion Transformer (modèle de diffusion basé sur l'architecture Transformer, ci-après dénommé DiT), qui est un nouveau modèle synthétisé à partir de deux modèles. La « combinaison » des deux modèles est la clé pour que Sora devienne un succès. La diffusion (modèle de diffusion) est un modèle de génération de contenu efficace qui a déjà démontré de solides ca...
[Courte citation de 8% de l'article original]