Tracer les pensées d'un grand modèle de langue
Tracer les pensées d'un grand modèle de langue
Auteur: Anthropic – Durée: 00:02:56
Les modèles d'IA sont formés et non directement programmés, nous ne comprenons donc pas comment ils font la plupart des choses qu'ils font. Nos nouvelles méthodes d'interprétabilité nous permettent de retracer leur pensée (souvent complexe et surprenante). Avec deux nouveaux articles, les chercheurs d'Anthropic ont pris des mesures importantes pour comprendre les circuits qui sous-tendent les pensées d'un modèle d'IA. Dans un exemple de l'article, nous trouvons des preuves que Claude planifiera ce qu'il dira beaucoup de mots à venir et écrivra pour arriver à cette destination. Nous montrons cela dans le domaine de la poésie, où il pense à des mots de rimes possibles à l'avance et écrit chaque ligne pour y arriver. Il s'agit d'une preuve puissante que, même si les modèles sont formés pour produire un mot à la fois, ils peuvent penser à des horizons beaucoup plus longs pour le faire. En savoir plus: https://anthropic.com/research/tracing-thoughts-language-model
Traduit en français à partir de cette source
