Communiqué de Stability AI

Points clés à retenir

• Stable Zero123 génère de nouvelles vues d’un objet, démontrant une compréhension 3D de l’apparence de l’objet sous différents angles avec une qualité nettement améliorée par rapport à Zero1-to-3 ou Zero123-XL grâce à des ensembles de données d’entraînement et à un conditionnement d’altitude améliorés.
• Basé sur Stable Diffusion 1.5, ce modèle consomme la même quantité de VRAM que SD1.5 pour générer 1 nouvelle vue. L’utilisation de Stable Zero123 pour générer des objets 3D nécessite plus de temps et de mémoire (24 Go de VRAM recommandés).
• Ce modèle est sorti pour utilisation non commerciale et de recherche et les poids peuvent être téléchargés ici.
• Stable Zero123C peut être utilisé commercialement avec un abonnement Stability AI.

Aujourd’hui, nous publions Stable Zero123, notre modèle formé en interne pour la génération d’images conditionnées par la vue. Le Zero123 stable produit des résultats nettement améliorés par rapport au précédent état de l’art, Zero123-XL. Ceci est réalisé grâce à 3 innovations clés :

• Un ensemble de données de formation amélioré fortement filtré de Objaverse, pour conserver uniquement les objets 3D de haute qualité, que nous avons rendus de manière beaucoup plus réaliste que les méthodes précédentes
• Pendant la formation et l’inférence, nous fournissons au modèle un angle de caméra estimé. Ce conditionnement en altitude lui permet de faire des prédictions plus éclairées et de meilleure qualité.
• Un ensemble de données précalculées (latences précalculées) et un chargeur de données amélioré prenant en charge une taille de lot plus élevée, qui, combinés à la première innovation, ont permis d’accélérer l’efficacité de la formation de 40 fois par rapport au Zero123-XL.

Ce modèle est maintenant disponible sur Hugging Face pour permettre aux chercheurs et aux utilisateurs non commerciaux de le télécharger et de l’expérimenter.

Création d’objets 3D à l’aide de Stable Zero123

Pour permettre une recherche ouverte sur la génération d’objets 3D, nous avons amélioré le code open source de troisstudio code open source pour prendre en charge Zero123 et Stable Zero123. Cette version simplifiée du processus Stable 3D est actuellement en avant-première privée. En termes techniques, cela utilise Échantillonnage par distillation de scores (SDS) pour optimiser un NeRF à l’aide du modèle Stable Zero123, à partir duquel nous pourrons ensuite créer un maillage 3D texturé. Ce processus peut être adapté pour la génération de texte en 3D en générant d’abord une seule image à l’aide de SDXL, puis en utilisant Stable Zero123 pour générer l’objet 3D.

Comparaison d’objets 3D à l’aide des modèles Stable Zero123 (Stability AI) et Zero123-XL

Considérations relatives à la licence (utilisation non commerciale ou commerciale)

Nous avons publié 2 versions de Stable Zero123.

Stable Zero123 comprenait des objets 3D CC-BY-NC, il ne peut donc pas être utilisé commercialement, mais peut être utilisé à des fins de recherche.

Stable Zero123C (« C » pour « Commercially-available ») a été uniquement formé sur des objets 3D CC-BY et CC0. Vous ne pouvez l’utiliser à des fins commerciales que si vous disposez d’un abonnement actif à Stability AI. Si vous n’êtes pas membre de Stability AI, vous ne pouvez pas utiliser ce modèle à des fins commerciales.

Selon nos tests internes, les deux modèles fonctionnent de manière similaire en termes de qualité de prédiction.

Source