Pourquoi Tejal Patwardhan a arrêté de sous-estimer les modèles – Épisode 21
Pourquoi Tejal Patwardhan a arrêté de sous-estimer les modèles – Épisode 21

Auteur: OpenAI – Durée: 00:44:23
Les anciens tests deviennent trop faciles. Tejal Patwardhan dirige l'équipe d'évaluation des frontières d'OpenAI, qui trouve de nouvelles façons de mesurer et de prévoir les progrès à mesure que les modèles deviennent plus performants. Elle et l'animateur Andrew Mayne discutent de l'importance des évaluations pour la recherche, de la manière dont les critères de référence peuvent être brisés ou manipulés, et sur quels modèles doivent ensuite être jugés. Chapitres 00:00:24 Grandir avec OpenAI 00:03:10 Pourquoi le raisonnement a tout changé 00:06:28 Ce qui a rendu o1 surprenant 00:11:20 Pourquoi les anciens benchmarks ont cessé de fonctionner 00:14:45 Ce qui fait un bon benchmark 00:17:35 Pourquoi les évaluations sont de plus en plus difficiles 00:22:09 Mesurer les modèles de voix et de vision 00:24:48 Tester les modèles sur la vraie science 00:33:23 Comment OpenAI suit les progrès des frontières 00:40:47 Ce que l'IA signifie pour le travail
Traduit en français à partir de cette source






