Communiqué de Stability AI:

Points clés à retenir

Aujourd’hui, nous lançons TripoSR en partenariat avec Tripo IA générant des modèles 3D de haute qualité à partir d’une seule image en moins d’une seconde.

TripoSR fonctionne avec de faibles budgets d’inférence (même sans GPU), ce qui est à la fois accessible et pratique pour un large éventail d’utilisateurs et d’applications.

Les poids du modèle et le code source sont disponibles en téléchargement ici sous licence MIT, permettant une utilisation commerciale, personnelle et de recherche.

Nous nous sommes associés à Tripo AI pour développer TripoSR, un modèle de reconstruction d’objets 3D rapide inspiré des travaux récents de LRM : Modèle de reconstruction à grande échelle pour une image unique en 3D Ce nouveau modèle image-3D est conçu pour répondre aux demandes croissantes des professionnels du divertissement, des jeux, du design industriel et de l’architecture, avec des sorties réactives pour visualiser des objets 3D détaillés.

Performance

TripoSR peut créer des modèles 3D détaillés en une fraction du temps des autres modèles. Lorsqu’il a été testé sur une carte graphique Nvidia A100, il génère des sorties 3D de qualité brouillon (maillages texturés) en environ 0,5 seconde, surpassant ainsi d’autres modèles image-to-3D ouverts tels que OpenLRM En plus de la vitesse, notre modèle est entièrement accessible aux utilisateurs avec ou sans GPU.

Détails techniques

Notre préparation des données de formation intègre diverses techniques de rendu de données qui reproduisent plus fidèlement la distribution des images trouvées dans le monde réel, améliorant considérablement la capacité du modèle à généraliser. Nous avons soigneusement organisé un CC-BY, un sous-ensemble de qualité supérieure de Objaverse ensemble de données, pour les données de formation. Du côté du modèle, nous avons également introduit plusieurs améliorations techniques par rapport à la base Modèle LRMy compris l’optimisation du nombre de canaux, la supervision des masques et une stratégie de rendu de recadrage plus efficace. Vous pouvez lire le rapport technique pour plus de détails.

Nous invitons les développeurs, les concepteurs et les créateurs à explorer ses capacités, à contribuer à son évolution et à découvrir son potentiel pour transformer leur travail et leurs industries.

Le code du modèle TripoSR est désormais disponible sur Tripo AI GitHub et les poids du modèle sont disponibles sur Huggingface. Veuillez vous référer à notre rapport technique pour plus de détails sur le modèle TripoSR.

Source