OpenAI lance un programme de subventions de 10 millions de dollars
OpenAI lance un programme de subventions de 10 millions de dollars
OpenAI pense que la superintelligence pourrait arriver dans les 10 prochaines années. Ces systèmes d’IA auraient de vastes capacités : ils pourraient être extrêmement bénéfiques, mais pourraient également présenter des risques importants.
Aujourd’hui, OpenAI aligne les systèmes d’IA pour garantir leur sécurité grâce à l’apprentissage par renforcement à partir de la rétroaction humaine (RLHF). Cependant, l’alignement des futurs systèmes d’IA surhumaine posera des défis techniques fondamentalement nouveaux et qualitativement différents.
Les systèmes d’IA surhumains seront capables de comportements complexes et créatifs que les humains ne peuvent pas pleinement comprendre. Par exemple, si un modèle surhumain génère un million de lignes de code extrêmement compliqué, les humains ne seront pas en mesure d’évaluer de manière fiable si le code est sûr ou dangereux à exécuter. Les techniques d’alignement existantes comme le RLHF qui reposent sur la supervision humaine pourraient ne plus suffire. Cela amène à un défi fondamental : comment les humains peuvent-ils diriger et faire confiance à des systèmes d’IA beaucoup plus intelligents qu’eux ?
Il s’agit de l’un des problèmes techniques non résolus les plus importants au monde. Mais OpenAI pense que ce problème peut être résolu grâce à un effort concerté. Il existe de nombreuses approches prometteuses et des directions passionnantes, avec de nombreux fruits à portée de main. OpenAI pense qu’il existe aujourd’hui une énorme opportunité pour la communauté de recherche en ML et les chercheurs individuels de réaliser des progrès majeurs sur ce problème.
Dans le cadre de notre projet Superalignment, OpenAI souhaite rassembler les meilleurs chercheurs et ingénieurs du monde pour relever ce défi, et OpenAI est particulièrement enthousiaste à l’idée d’attirer de nouvelles personnes dans ce domaine.
Subventions rapides de superalignement
En partenariat avec Eric Schmidt, OpenAI lance un programme de subventions de 10 millions de dollars pour soutenir la recherche technique visant à garantir que les systèmes d’IA surhumains sont alignés et sûrs :
OpenAI offre des subventions de 100 000 $ à 2 millions de dollars aux laboratoires universitaires, aux organisations à but non lucratif et aux chercheurs individuels. Pour les étudiants diplômés, ils parrainont une bourse de recherche OpenAI Superalignment de 150 000 $ sur un an : 75 000 $ en allocation et 75 000 $ en financement de calcul et de recherche.Non Une expérience préalable de travail sur l’alignement est requise ; ils cherchent activement à soutenir les chercheurs qui sont enthousiastes à l’idée de travailler sur l’alignement pour la première fois. Leur processus de candidature est simple et ils répondrons dans les quatre semaines suivant la clôture des candidatures.
Avec ces subventions, ils sont particulièrement intéressés à financer le suivre les orientations de la recherche:
Généralisation de faible à fort : les humains seront de faibles superviseurs par rapport aux modèles surhumains. Pouvons-nous comprendre et contrôler la façon dont des modèles forts se généralisent à partir d’une supervision faible ? Interprétabilité : comment pouvons-nous comprendre les éléments internes du modèle ? Et pouvons-nous l’utiliser, par exemple, pour construire un détecteur de mensonges IA ? Surveillance évolutive : Comment pouvons-nous utiliser les systèmes d’IA pour aider les humains à évaluer les résultats d’autres systèmes d’IA sur des tâches complexes ? De nombreuses autres directions de recherche, y compris, mais sans s’y limiter : l’honnêteté, fidélité de la chaîne de pensée, robustesse face à l’adversaire, évaluations et bancs d’essai, et bien plus encore.
Pour en savoir plus sur les orientations de recherche, les FAQ et d’autres détails, consultez cette page: Page de subventions rapides de superalignement.
Rejoignez OpenAI dans ce défi !
Ils pensent que de nouveaux chercheurs pourraient apporter d’énormes contributions ! Il s’agit d’un domaine jeune avec de nombreux problèmes de recherche traitables ; des contributions exceptionnelles pourraient non seulement contribuer à façonner le domaine, mais être essentielles pour l’avenir de l’IA. Il n’y a jamais eu de meilleur moment pour commencer à travailler sur l’alignement.
