Communiqué d’OpenAI:

Nous commençons à déployer de nouvelles fonctionnalités vocales et image dans ChatGPT. Ils offrent un nouveau type d’interface plus intuitif en vous permettant d’avoir une conversation vocale ou de montrer à ChatGPT de quoi vous parlez.

La voix et l’image vous offrent davantage de façons d’utiliser ChatGPT dans votre vie. Prenez une photo d’un point de repère pendant votre voyage et discutez en direct de ce qui est intéressant à ce sujet. Lorsque vous êtes à la maison, prenez des photos de votre réfrigérateur et de votre garde-manger pour savoir ce qu’il y a pour le dîner (et posez des questions de suivi pour une recette étape par étape). Après le dîner, aidez votre enfant à résoudre un problème de mathématiques en prenant une photo, en encerclant l’ensemble du problème et en lui demandant de partager des indices avec vous deux.

Nous déploierons la voix et les images dans ChatGPT auprès des utilisateurs Plus et Enterprise au cours des deux prochaines semaines. Voice arrive sur iOS et Android (opt-in dans vos paramètres) et les images seront disponibles sur toutes les plateformes.

Parlez avec ChatGPT et demandez-lui de répondre

Vous pouvez désormais utiliser la voix pour engager une conversation avec votre assistant. Parlez avec lui lors de vos déplacements, demandez une histoire au coucher pour votre famille ou réglez un débat à table.

Parlez avec ChatGPT et demandez-lui de répondre1:42

Utilisez la voix pour engager une conversation avec votre assistant.

Pour démarrer avec la voix, accédez à Paramètres → Nouvelles fonctionnalités sur l’application mobile et activez les conversations vocales. Ensuite, appuyez sur le bouton du casque situé dans le coin supérieur droit de l’écran d’accueil et choisissez votre voix préférée parmi cinq voix différentes.

La nouvelle capacité vocale est alimentée par un nouveau modèle de synthèse vocale, capable de générer un son de type humain à partir de seulement du texte et de quelques secondes d’échantillons de parole. Nous avons collaboré avec des comédiens professionnels pour créer chacune des voix. Nous utilisons également Whisper, notre système de reconnaissance vocale open source, pour transcrire vos paroles en texte.

Discutez d’images

Vous pouvez désormais afficher à ChatGPT une ou plusieurs images. Dépannez pourquoi votre gril ne démarre pas, explorez le contenu de votre réfrigérateur pour planifier un repas ou analysez un graphique complexe pour des données liées au travail. Pour vous concentrer sur une partie spécifique de l’image, vous pouvez utiliser l’outil de dessin de notre application mobile.

La compréhension des images est alimentée par GPT-3.5 et GPT-4 multimodaux. Ces modèles appliquent leurs capacités de raisonnement linguistique à un large éventail d’images, telles que des photographies, des captures d’écran et des documents contenant à la fois du texte et des images.

Nous déployons progressivement les capacités image et voix

L’objectif d’OpenAI est de créer une AGI sûre et bénéfique. Nous croyons qu’il est important de rendre nos outils disponibles progressivement, ce qui nous permet d’apporter des améliorations et d’affiner l’atténuation des risques au fil du temps tout en préparant chacun à des systèmes plus puissants à l’avenir. Cette stratégie devient encore plus importante avec des modèles avancés impliquant la voix et la vision.

Voix

La nouvelle technologie vocale, capable de créer des voix synthétiques réalistes à partir de quelques secondes seulement de parole réelle, ouvre les portes de nombreuses applications créatives et axées sur l’accessibilité. Cependant, ces capacités présentent également de nouveaux risques, tels que la possibilité pour des acteurs malveillants de se faire passer pour des personnalités publiques ou de commettre des fraudes.

C’est pourquoi nous utilisons cette technologie pour alimenter un cas d’utilisation spécifique : le chat vocal. Le chat vocal a été créé avec des acteurs vocaux avec lesquels nous avons directement travaillé. Nous collaborons également de la même manière avec d’autres. Par exemple, Spotify utilise la puissance de cette technologie pour le projet pilote de son Traduction vocale fonctionnalité, qui aide les podcasteurs à élargir la portée de leur narration en traduisant les podcasts dans des langues supplémentaires avec leurs propres voix.

Saisie d’images

Les modèles basés sur la vision présentent également de nouveaux défis, allant des hallucinations sur les personnes à la dépendance à l’interprétation des images par le modèle dans des domaines à enjeux élevés. Avant un déploiement plus large, nous avons testé le modèle avec des équipes rouges pour évaluer les risques dans des domaines tels que l’extrémisme et la compétence scientifique, ainsi qu’avec un ensemble diversifié de testeurs alpha. Nos recherches nous ont permis de nous aligner sur quelques détails clés pour un usage responsable.

Rendre la vision à la fois utile et sûre

Comme les autres fonctionnalités de ChatGPT, la vision consiste à vous aider dans votre vie quotidienne. Il fait mieux lorsqu’il peut voir ce que vous voyez.

Cette approche s’inspire directement de notre travail avec Be My Eyes, une application mobile gratuite destinée aux personnes aveugles et malvoyantes, afin de comprendre les utilisations et les limites. Les utilisateurs nous ont dit qu’ils trouvaient utile d’avoir des conversations générales sur des images contenant des personnes en arrière-plan, comme si quelqu’un apparaît à la télévision pendant que vous essayez de comprendre les paramètres de votre télécommande.

Nous avons également pris des mesures techniques pour limiter considérablement la capacité de ChatGPT à analyser et à faire des déclarations directes sur les personnes, car ChatGPT n’est pas toujours précis et ces systèmes doivent respecter la vie privée des individus.

L’utilisation dans le monde réel et les commentaires nous aideront à améliorer encore ces protections tout en gardant l’outil utile.

Transparence sur les limitations du modèle

Les utilisateurs peuvent compter sur ChatGPT pour des sujets spécialisés, par exemple dans des domaines comme la recherche. Nous sommes transparents sur les limites du modèle et décourageons les cas d’utilisation à plus haut risque sans vérification appropriée. De plus, le modèle maîtrise parfaitement la transcription de textes anglais, mais fonctionne mal avec certaines autres langues, en particulier celles dont l’écriture n’est pas romaine. Nous déconseillons à nos utilisateurs non anglophones d’utiliser ChatGPT à cette fin.

Vous pouvez en savoir plus sur notre approche de la sécurité et notre travail avec Be My Eyes dans la carte système de saisie d’images.

Nous élargirons l’accès

Les utilisateurs Plus et Enterprise bénéficieront de la voix et des images au cours des deux prochaines semaines. Nous sommes ravis de déployer ces fonctionnalités auprès d’autres groupes d’utilisateurs, y compris les développeurs, peu de temps après.

Lien source