Communiqué d’OpenAI:

Dans le cadre de notre mission de création d’AGI sûres, nous prenons au sérieux l’ensemble des risques de sécurité liés à l’IA, depuis les systèmes dont nous disposons aujourd’hui jusqu’aux confins de la superintelligence. En juillet, nous nous sommes joints à d’autres grands laboratoires d’IA pour prendre une série d’engagements volontaires visant à promouvoir la sûreté, la sécurité et la confiance dans l’IA. Ces engagements couvraient toute une série de domaines de risque, notamment les risques frontaliers qui sont au centre de la Sommet britannique sur la sécurité de l’IA. Dans le cadre de nos contributions au Sommet, nous avons détaillé nos progrès en matière de sécurité de l’IA aux frontières, y compris nos travaux dans le cadre de nos engagements volontaires.

Notre approche de la préparation

Nous pensons que les modèles d’IA de pointe, qui dépasseront les capacités actuellement présentes dans les modèles existants les plus avancés, ont le potentiel de bénéficier à l’ensemble de l’humanité. Mais ils présentent également des risques de plus en plus graves. La gestion des risques catastrophiques liés à l’IA de pointe nécessitera de répondre à des questions telles que :

Dans quelle mesure les systèmes d’IA frontaliers sont-ils dangereux lorsqu’ils sont utilisés à mauvais escient, aujourd’hui et à l’avenir ? Comment pouvons-nous créer un cadre robuste pour la surveillance, l’évaluation, la prévision et la protection contre les capacités dangereuses des systèmes d’IA frontaliers ? Si les pondérations de notre modèle d’IA frontalière étaient volées, comment des acteurs malveillants pourraient-ils choisir de les exploiter ?

Nous devons nous assurer que nous disposons de la compréhension et de l’infrastructure nécessaires à la sécurité des systèmes d’IA hautement performants.

Notre nouvelle équipe de préparation

Pour minimiser ces risques à mesure que les modèles d’IA continuent de s’améliorer, nous construisons une nouvelle équipe appelée Preparedness. Dirigée par Aleksander Madry, l’équipe de préparation reliera étroitement l’évaluation des capacités, les évaluations et l’équipe rouge interne pour les modèles frontières, depuis les modèles que nous développerons dans un avenir proche jusqu’à ceux dotés de capacités de niveau AGI. L’équipe aidera à suivre, évaluer, prévoir et se protéger contre les risques catastrophiques couvrant plusieurs catégories, notamment :

Persuasion individualisée, Cybersécurité, Menaces chimiques, biologiques, radiologiques et nucléaires (CBRN), Réplication et adaptation autonomes (ARA)

La mission de l’équipe de préparation comprend également l’élaboration et le maintien d’une politique de développement tenant compte des risques (RDP). Notre RDP détaillera notre approche pour développer des évaluations et un suivi rigoureux des capacités des modèles de frontière, créer un éventail d’actions de protection et établir une structure de gouvernance pour la responsabilité et la surveillance tout au long de ce processus de développement. Le RDP vise à compléter et à étendre nos travaux existants d’atténuation des risques, qui contribuent à la sécurité et à l’alignement de nouveaux systèmes hautement performants, avant et après le déploiement.

Rejoignez-nous

Intéressé à travailler sur la préparation ? Nous recrutons des talents exceptionnels issus de divers horizons techniques pour notre équipe de préparation afin de repousser les limites de nos modèles d’IA de pointe.

Défi de préparation

Pour identifier les domaines de préoccupation moins évidents (et constituer l’équipe !), nous lançons également notre AI Preparedness Challenge pour la prévention des abus catastrophiques. Nous offrirons 25 000 $ en crédits API à un maximum de 10 des meilleures soumissions, publierons de nouvelles idées et entrées et rechercherons des candidats pour la préparation parmi les meilleurs prétendants à ce défi.

Participez au défi de préparation

Lien source