Le développement d’Image Sculpting, fruit de la collaboration entre les chercheurs de NYU et d’Intel, réunit des outils 3D et l’édition d’images 2D pour offrir un contrôle précis sur la géométrie des objets. Cela inclut des ajustements de pose, de rotation, de translation, de composition 3D, et bien plus encore. En utilisant un processus de fusion grossier à fin, les objets modifiés peuvent être intégrés de manière transparente dans les images originales, produisant ainsi des résultats de haute qualité.

Malgré ses promesses, Image Sculpting est confronté à des défis relatifs à la contrôlabilité via des invites textuelles et à la résolution de sortie. Des recherches supplémentaires sont nécessaires pour surmonter ces limites et libérer tout le potentiel de cette technologie.

Les méthodes traditionnelles d’édition d’images 2D ont longtemps été gênées par leur dépendance à l’égard d’instructions textuelles, ce qui se traduit par une précision et un contrôle limités. Ce confinement dans le domaine 2D conduit souvent à une manipulation imprécise des objets, étouffant tout le potentiel de l’édition d’images. L’absence d’outils d’interaction spatiale restreint encore davantage les possibilités créatives et les ajustements précis, créant ainsi un vide dans le monde de l’amélioration de l’image.

Ces dernières années, l’exploration de modèles génératifs tels que les GAN a élargi l’horizon de l’édition d’images, englobant le transfert de style, la traduction d’image à image, la manipulation latente et les modifications basées sur du texte. Cependant, l’édition basée sur du texte a encore du mal à fournir un contrôle précis sur les formes et les positions des objets. ControlNet est un modèle notable qui tente de combler cette lacune en incorporant des entrées conditionnelles supplémentaires pour une génération précise. De plus, le défi séculaire de la reconstruction 3D à vue unique en vision par ordinateur a permis des progrès substantiels dans les approches algorithmiques et l’utilisation des données.

Cette approche innovante répond aux limites de l’édition d’images 2D traditionnelle en intégrant de manière transparente la géométrie 3D et les outils graphiques. Image Sculpting permet une interaction directe avec les aspects 3D des objets 2D, permettant des ajustements précis tels que des modifications de pose, une rotation, une translation, une composition 3D, une sculpture et une addition en série.

Tirant parti d’un processus méticuleux d’amélioration grossière à fine, ce cadre restitue de manière experte les objets modifiés en 2D, les mélangeant de manière transparente avec l’image originale pour obtenir des résultats impeccables. Image Sculpting établit un équilibre harmonieux entre la liberté créative offerte par les modèles génératifs et la précision des pipelines graphiques, comblant efficacement le fossé de contrôlabilité dans la génération d’images et l’infographie.

Malgré son potentiel remarquable, Image Sculpting a ses limites en termes de contrôlabilité et de précision via des invites textuelles. Demander des manipulations d’objets complexes reste un défi pour les modèles génératifs actuels. De plus, la dépendance de la méthode sur la qualité évolutive de la reconstruction 3D à vue unique peut nécessiter des efforts manuels pour la déformation du maillage. La résolution de sortie, bien que louable, n’est pas à la hauteur des normes de rendu industrielles, ce qui fait des ajustements de l’éclairage d’arrière-plan un facteur crucial pour atteindre le réalisme.