Apple a récemment dévoilé un nouveau modèle qui permet aux utilisateurs de modifier des photos simplement en utilisant des instructions textuelles, sans avoir à utiliser de logiciel de retouche photo. Ce modèle, appelé MGIE (MLLM-Guided Image Editing), a été développé en collaboration avec l’Université de Californie à Santa Barbara. Il est capable de recadrer, redimensionner, retourner et ajouter des filtres aux images en répondant à des commandes textuelles.

Le MGIE peut être utilisé pour des tâches simples telles que recadrer une image, mais aussi pour des tâches plus complexes comme modifier des objets spécifiques dans une photo. Il combine deux utilisations différentes de modèles de langage multimodal : interpréter les instructions des utilisateurs et « imaginer » la retouche demandée. Par exemple, demander à rendre le ciel plus bleu sur une photo revient à augmenter la luminosité de la partie ciel de l’image.

Lors de l’édition d’une photo avec le MGIE, les utilisateurs n’ont qu’à saisir ce qu’ils souhaitent modifier sur l’image. Par exemple, demander à rendre une pizza au pepperoni « plus saine » ajoutera des garnitures de légumes. De même, demander à ajouter plus de contraste à une photo de tigres dans le Sahara permettra de simuler plus de lumière et de rendre l’image plus lumineuse.

Ce nouveau modèle de retouche photo promet de simplifier grandement le processus de modification d’images pour les utilisateurs, en leur permettant de communiquer leurs désirs de manière simple et naturelle.

« Au lieu de conseils brefs mais ambigus, MGIE dérive une intention visuelle explicite et conduit à une retouche d’image raisonnable. Nous menons des études approfondies sur divers aspects de l’édition et démontrons que notre MGIE améliore efficacement les performances tout en maintenant une efficacité compétitive. Nous pensons également que le cadre guidé par MLLM peut contribuer aux futures recherches sur la vision et le langage », ont déclaré les chercheurs dans l’article.

Apple a rendu MGIE disponible via GitHub en téléchargement, mais a également publié une démo Web sur Hugging Face Spaces. La société n’a pas précisé quels étaient ses projets pour le modèle au-delà de la recherche.

Certaines plates-formes de génération d’images, comme DALL-E 3 d’OpenAI, peuvent effectuer des tâches simples de retouche photo sur les images qu’elles créent via la saisie de texte. Le créateur de Photoshop Adobe, vers lequel la plupart des gens se tournent pour l’édition d’images, possède également son propre modèle d’édition d’IA. Son modèle Firefly AI alimente le remplissage génératif, qui ajoute des arrière-plans générés aux photos.

Apple n’a pas été un acteur majeur dans le domaine de l’IA générative, contrairement à Microsoft, Meta ou Google, mais le PDG d’Apple, Tim Cook, a déclaré que la société souhaitait ajouter davantage de fonctionnalités d’IA à ses appareils cette année. En décembre, les chercheurs d’Apple ont publié un framework d’apprentissage automatique open source appelé MLX pour faciliter la formation de modèles d’IA sur les puces Apple Silicon.