ByteDance, la société mère de TikTok, a publié un document de recherche sur Boximator, une nouvelle technique qui permet un contrôle extrêmement précis sur le mouvement des objets dans les vidéos générées.

Boximator (un mot-valise des mots « box » et « animator ») introduit une approche simple mais puissante pour la spécification du mouvement. Les utilisateurs sélectionnent d’abord des objets dans une image de référence en dessinant des boîtes autour d’eux. Ils peuvent ensuite définir la position finale d’un objet ou l’ensemble du chemin de mouvement à travers les images en utilisant des boîtes et des lignes supplémentaires. Cette technique visuellement ancrée évite le besoin de décrire verbalement les mouvements souhaités.

Jetez un coup d’œil :

Empiriquement, les modèles améliorés par Boximator conservent la qualité vidéo d’origine, mesurée par les scores de Fréchet Video Distance (FVD), tout en acquérant des capacités de contrôle de mouvement précises. Sur l’ensemble de données MSR-VTT, le module a amélioré les FVD de deux modèles de base tout en obtenant un alignement de mouvement solide, quantifié par des métriques de précision moyenne comparant les mouvements générés aux boîtes de vérité terrain.

Les résultats qualitatifs mettent en évidence le réalisme des techniques avec des objets suivant fidèlement des chemins définis par l’utilisateur, des interactions complexes et des entrées/sorties de scène. Boximator gère des éléments composites comme une femme sur un vélo, et contrôle le nombre d’objets, leur taille, leur proximité, et plus encore!

Cela marque une avancée significative vers des plateformes de génération vidéo plus polyvalentes qui équilibrent qualité, diversité et contrôle de l’utilisateur. En externalisant la spécification du mouvement, Boximator pourrait potentiellement économiser une quantité importante de calcul nécessaire pour apprendre ces aspects plus fins en interne.