Actuellement, près de 5 millions de personnes aux États-Unis sont touchées par des déficiences motrices. Ces conditions rendent souvent les tâches quotidiennes difficiles, mais une innovation majeure apparaît à l’horizon : les robots d’assistance physique. Ces robots ont le potentiel non seulement d’aider ces individus dans leur vie de tous les jours, mais aussi d’accroître leur indépendance, leur bien-être et leur qualité de vie.

L’Importance des Modèles de Langage dans l’Interaction avec les Robots

Les grands modèles de langage (LLM), capables de comprendre et de générer du langage et du code humains, sont essentiels pour établir une communication efficace entre l’homme et le robot. Un groupe de chercheurs de l’Institut de robotique de l’Université Carnegie Mellon a reconnu cette nécessité et s’efforce de développer des interfaces innovantes pour améliorer les interactions entre les individus et les robots d’assistance.

Présentation de VoicePilot

Le groupe de recherche, composé de professeurs et d’étudiants des laboratoires Robotic Caregiving and Human Interaction (RCHI), Human And Robot Partners (HARP) et Soft Machines (SML), a introduit VoicePilot, un cadre et des lignes directrices de conception pour l’intégration des LLM comme interfaces vocales pour les robots d’assistance physique.

Cette équipe d’experts en interaction homme-robot a veillé à ce que leur approche soit centrée sur l’humain, faisant de VoicePilot une première dans le domaine, impliquant des sujets humains interagissant directement avec le LLM intégré dans un robot d’assistance physique.

VoicePilot : Une Étude Pionnière

L’article de VoicePilot sera publié lors du Symposium sur les logiciels et technologies d’interface utilisateur (UIST 2024) qui se tiendra à Pittsburgh en octobre. Le document est déjà disponible sur le serveur de pré-impression arXiv.

Selon Jessie Yuan, co-auteur et étudiant de premier cycle au RCHI Lab : «Nous pensons que les LLM sont la clé pour développer des interfaces vocales personnalisables et robustes pour les robots d’assistance.»

Intégration de VoicePilot avec Obi

Le groupe a intégré son interface vocale basée sur LLM à Obi, un robot d’assistance à l’alimentation disponible dans le commerce. L’objectif de cette intégration était de permettre aux utilisateurs de donner des instructions personnalisées, comme ils le feraient avec un soignant humain, et de garantir l’exécution réussie de ces instructions.

Évaluation de l’Efficacité de VoicePilot

Pour tester l’efficacité de VoicePilot, l’équipe a mené une étude avec 11 personnes âgées vivant dans un établissement de vie autonome. Grâce à des tâches prédéfinies, une séance d’alimentation ouverte, et une analyse des enregistrements audio, ils ont collecté des données précieuses pour établir des lignes directrices de conception pour l’intégration des LLM dans les interfaces d’assistance.

Lignes Directrices pour l’Intégration des LLM

Les données recueillies ont permis de définir cinq lignes directrices principales pour l’intégration des LLM comme interfaces vocales :

• Offrir des options de personnalisation
• Exécuter plusieurs fonctions de manière séquentielle
• Exécuter des commandes avec des vitesses comparables à celles d’un soignant
• Exécuter des commandes de manière cohérente
• Avoir la capacité d’interagir socialement avec l’utilisateur

Ces avancées pourraient transformer de manière significative les soins prodigués aux personnes atteintes de déficiences motrices, rendant leur vie quotidienne plus facile et enrichissante.

« Notre cadre et nos lignes directrices proposés aideront les chercheurs, les ingénieurs et les concepteurs, tant dans le milieu universitaire que dans l’industrie, à développer des interfaces vocales basées sur le LLM pour les robots d’assistance », a déclaré Akhil Padmanabha, co-auteur et doctorant au Robotics Institute.

Plus d’informations : Akhil Padmanabha et al, VoicePilot : Exploiter les LLM comme interfaces vocales pour les robots d’assistance physique, arXiv (2024). DOI : 10.48550/arxiv.2404.04066

Informations sur la revue : arXiv

Fourni par l’Université Carnegie Mellon

Article proposé par:

Franck Ribiere

Basé en France entre Aix-en-Provence et Marseille, Franck est un informaticien passionné par l'intelligence artificielle, avec une expertise en développement logiciel web. Toujours à l'affût des dernières avancées, il s'efforce de proposer les infos les + pertinentes.