Des chercheurs en IA de DeepMind de Google, en collaboration avec des collègues de l’Université de la Colombie-Britannique, ont annoncé le développement de Genie, une application basée sur l’IA capable de transformer une seule image en un monde virtuel 2D jouable.

L’équipe a posté un document sur le serveur de préimpression arXiv décrivant leur travail et ont également publié une page d’annonce sur le site de recherche de DeepMind.

Les jeux vidéo bidimensionnels, tels que Super Mario Brothers, permettent aux joueurs de manipuler un personnage sur un écran vidéo tout en progressant dans un monde virtuel. Dans ce nouvel effort, l’équipe de DeepMind a automatisé le processus de création de jeux vidéo 2D en permettant à Genie d’accepter une seule image, comme un personnage devant un arrière-plan imaginé, puis de l’utiliser pour générer le reste du jeu. Cela a été rendu possible en l’entraînant sur des milliers d’heures de vidéo provenant de centaines de jeux vidéo 2D.

Pour créer Genie, l’équipe a d’abord construit une application d’IA capable de tokeniser les images vidéo en millions de paramètres qu’elle pourrait utiliser pour créer de nouvelles images. Ils ont ensuite ajouté ce qu’ils décrivent comme un « modèle d’action latente » pour faire des prédictions sur ce à quoi pourrait ressembler une scène suivante donnée en fonction de l’image actuelle.

Ensuite, ils ont ajouté un module pour générer un modèle dynamique afin de deviner les prochaines séquences possibles en fonction de ce qu’il a appris pendant la phase de formation. Le résultat est une série de cadres reliés entre eux pour former ce qui ressemble à un monde virtuel en 2D.

Les chercheurs reconnaissent que Genie est encore un travail en cours. Il présente plusieurs limites qui ne sont pas facilement visibles dans les exemples fournis. Par exemple, il faut beaucoup de temps pour courir – c’est environ 20 à 30 fois plus lent que ce que le joueur moyen considérerait comme une vitesse normale. Il commet également beaucoup d’erreurs : il peut créer des mondes irréalistes qui ne sont pas jouables, par exemple. Sa portée est également actuellement limitée : il ne peut exécuter que 16 images à la fois.

Néanmoins, l’équipe de DeepMind suggère que Genie démontre une nouvelle étape dans le développement de jeux vidéo, permettant aux utilisateurs de générer leurs propres jeux en fonction de leurs propres préférences.

Plus d’informations : Jake Bruce et al, Genie : Generative Interactive Environments, arXiv (2024). DOI : 10.48550/arxiv.2402.15391

Genie : Environnements interactifs génératifs : sites.google.com/view/genie-2024/home et deepmind.google/research/publications/60474/