Les chercheurs de l’Université Simon Fraser au Canada ont développé une nouvelle approche IA de la décomposition intrinsèque pour modéliser la perception de la lumière dans les images. Leur méthode utilise un système de réseaux de neurones pour séparer automatiquement les effets de lumière des vraies couleurs des objets dans une scène, ce qui constitue une avancée significative dans ce domaine de recherche.

Décomposition d’image intrinsèque via ombrage ordinal – ACM TOG. Crédit : Université Simon Fraser

« En modifiant l’éclairage et les couleurs séparément, toute une gamme d’applications réservées aux CGI et aux VFX deviennent possibles pour l’édition d’images régulière », explique le Dr Yağız Aksoy, qui dirige le laboratoire de photographie informatique à SFU.

« Cette compréhension physique de la lumière en fait un outil précieux et accessible pour les créateurs de contenu, les éditeurs de photos et les artistes de post-production, ainsi que pour les nouvelles technologies telles que la réalité augmentée et l’informatique spatiale. »

Le groupe a depuis étendu son approche de décomposition intrinsèque, en l’appliquant au problème de la composition d’images. « Lorsque vous insérez un objet ou une personne d’une image dans une autre, il est généralement évident qu’il a été modifié car l’éclairage et les couleurs ne correspondent pas », explique Careaga.

« Grâce à notre technique de décomposition intrinsèque, nous pouvons modifier l’éclairage de l’objet inséré pour le rendre plus réaliste dans la nouvelle scène. » En plus de publier un article à ce sujet, présenté au SIGGRAPH Asia en décembre dernier, le groupe a également développé une interface informatique permettant d’éditer de manière interactive l’éclairage de ces images.

Aksoy et son équipe prévoient d’étendre leurs méthodes à la vidéo pour une utilisation en post-production cinématographique et de développer davantage les capacités de l’IA en termes de montage d’éclairage interactif. Ils mettent l’accent sur une approche de l’IA dans la production cinématographique axée sur la créativité, visant à responsabiliser les productions indépendantes et à petit budget.

Harmonisation intrinsèque pour la composition sensible à l’éclairage — SIGGRAPH Asia 2023. Crédit : ACM Transactions on Graphics (2023). DOI : 10.1145/3630750

Pour mieux comprendre les défis de ces contextes de production, le groupe a développé un studio de photographie informatique sur le campus de l’Université Simon Fraser, où il mène des recherches dans un environnement de production actif.

Les publications ci-dessus représentent quelques-unes des premières étapes du groupe visant à fournir des capacités de montage basées sur l’IA à la riche industrie cinématographique de la Colombie-Britannique.

L’accent mis sur la décomposition intrinsèque permet même aux productions à petit budget d’ajuster facilement l’éclairage, sans nécessiter de reprises coûteuses. Ces innovations soutiennent les cinéastes locaux, maintenant la position de la Colombie-Britannique en tant que plaque tournante mondiale du cinéma, et serviront de base à de nombreuses autres applications basées sur l’IA qui proviendront du Computational Photography Lab de SFU.

Plus d’informations : Chris Careaga et al, Décomposition intrinsèque de l’image via Ordinal Shading, ACM Transactions on Graphics (2023). DOI : 10.1145/3630750

Dépôt GitHub : github.com/compphoto/Intrinsic

Fourni par l’Université Simon Fraser