Communiqué de Stability AI

Aujourd’hui, nous publions Stable Video Diffusion, notre premier modèle de base pour la vidéo générative basé sur le modèle d’image Stable Diffusion.

Désormais disponible en aperçu de recherche, ce modèle vidéo d’IA générative de pointe représente une étape importante dans notre parcours vers la création de modèles pour chacun, quel que soit son type.

Avec cette version de recherche, nous avons rendu le code pour la diffusion vidéo stable disponible sur notre Dépôt GitHub et les poids requis pour exécuter le modèle localement peuvent être trouvés sur notre Hugging Face page. De plus amples détails concernant les capacités techniques du modèle peuvent être trouvés dans notre document de recherche.

Adaptable à de nombreuses applications vidéo

Notre modèle vidéo peut être facilement adapté à diverses tâches en aval, y compris la synthèse multi-vues à partir d’une seule image avec un réglage fin sur des ensembles de données multi-vues. Nous prévoyons une variété de modèles qui s’appuient sur et étendent cette base, à l’instar de l’écosystème construit autour d’une diffusion stable.

Exemple de générations multi-vues à partir de notre modèle vidéo affiné

De plus, aujourd’hui, vous pouvez vous inscrire ici sur notre liste d’attente pour accéder à une nouvelle expérience Web à venir dotée d’une interface Text-To-Video. Cet outil présente les applications pratiques de la diffusion vidéo stable dans de nombreux secteurs, notamment la publicité, l’éducation, le divertissement et au-delà.

Compétitif en termes de performances

Stable Video Diffusion se présente sous la forme de deux modèles image-vidéo, capables de générer 14 et 25 images à des fréquences d’images personnalisables comprises entre 3 et 30 images par seconde. Au moment de leur publication sous leur forme fondamentale, grâce à une évaluation externe, nous avons constaté que ces modèles surpassaient les principaux modèles fermés dans les études sur les préférences des utilisateurs.

Exclusivement pour la recherche

Bien que nous mettions à jour nos modèles avec les dernières avancées et que nous nous efforcions d’intégrer vos commentaires, nous soulignons que ce modèle n’est pas destiné à des applications réelles ou commerciales à ce stade. Vos idées et commentaires sur la sécurité et la qualité sont importants pour affiner ce modèle en vue de sa sortie éventuelle.

Cela correspond à nos versions précédentes dans de nouvelles modalités, et nous sommes impatients de partager la version complète avec vous tous.

Notre suite de modèles d’IA en constante expansion

Stable Video Diffusion est un fier ajout à notre gamme diversifiée de modèles open source. Couvrant plusieurs modalités, notamment l’image, le langage, l’audio, la 3D et le code, notre portefeuille témoigne de l’engagement de Stability AI à amplifier l’intelligence humaine.

Source