Dans le cadre d’un effort de collaboration entre l’Université de Lehigh et Microsoft, un framework multi-agent révolutionnaire baptisé Mora a émergé pour propulser la technologie de génération vidéo vers de nouvelles frontières. Malgré des progrès substantiels dans la synthèse d’images et de textes, le domaine de la génération vidéo est resté largement inexploité. Les modèles traditionnels ont échoué dans la production de vidéos longues, qui durent généralement plus de 10 secondes, limitant ainsi leur applicabilité pratique. De plus, la domination des modèles fermés tels que Sora par OpenAI a entravé l’innovation et entravé les efforts de réplication dans la sphère universitaire.

Le dernier document de recherche vise à reproduire et à étendre les capacités présentées par Sora, ouvrant la voie à diverses applications dans les tâches de génération vidéo. Bien que des modèles comme Pika et Gen-2 aient présenté des performances louables, ils sont toujours aux prises avec des limitations dans la génération de vidéos plus longues et ne parviennent pas à égaler les prouesses démontrées par Sora. Entrez Mora : un cadre révolutionnaire qui exploite la puissance collaborative des agents d’IA visuelle avancés pour parvenir à une génération vidéo généralisée.

Contrairement à ses prédécesseurs, Mora adopte une approche holistique, décomposant le processus de génération vidéo en sous-tâches distinctes, chacune confiée à un agent spécialisé. Ceux-ci incluent la sélection rapide, la génération de texte en image, la génération d’image en vidéo et l’édition vidéo en vidéo. Grâce à une collaboration orchestrée entre ces agents, Mora s’efforce de reproduire et de surpasser les capacités de génération vidéo présentées par Sora.

L’architecture multi-agents de Mora annonce une méthodologie structurée mais adaptable pour la génération de vidéos. En tirant parti d’agents d’IA spécialisés adaptés aux différentes facettes du pipeline de génération, Mora peut relever de manière transparente une myriade de défis de génération vidéo. De la synthèse texte-vidéo à l’extension des vidéos générées et même à la simulation d’environnements numériques, Mora offre aux utilisateurs un éventail de fonctionnalités. Chaque agent est finement réglé pour gérer des transformations d’entrée-sortie spécifiques, garantissant ainsi la cohérence et la qualité des vidéos générées.

Les évaluations expérimentales soulignent les performances compétitives de Mora, avec des mesures affirmant sa capacité à produire des vidéos reflétant étroitement celles créées par Sora. Bien qu’un écart de performance persiste, en particulier dans les évaluations holistiques, l’architecture open source et le cadre multi-agents de Mora offrent des avantages significatifs en termes d’accessibilité, d’extensibilité et de potentiel d’innovation. Avec Mora à la barre, l’avenir de la génération vidéo semble plus prometteur que jamais, promettant des possibilités illimitées aux créateurs et aux innovateurs.