Communiqué de Stability AI:

Principaux points à retenir

• Stable LM 2 12B est une paire de puissants modèles de langage de 12 milliards de paramètres formés sur des données multilingues en anglais, espagnol, allemand, italien, français, portugais et néerlandais, avec un modèle de base et un modèle optimisé pour les instructions lors de la publication. Vous pouvez maintenant essayer Stable LM 2 12B ici.
• Les deux modèles sont disponibles pour des tests sur Hugging Face (base & chat) et peut être utilisé à des fins non commerciales ainsi que commerciales avec un abonnement Stability AI.
• Cette version comprend une mise à jour vers Stable LM 2 1.6B qui améliore ses compétences conversationnelles dans les sept langues susmentionnées et intègre l’utilisation d’outils et l’appel de fonctions.

Présentation des derniers ajouts à notre série de modèles de langage Stable LM 2 : un paramètre de 12 milliards modèle de base et un variante adaptée aux instructions formé sur 2 000 milliards de jetons en sept langues : anglais, espagnol, allemand, italien, français, portugais et néerlandais. Ce modèle de taille moyenne équilibre de solides performances, efficacité, besoins en mémoire et vitesse, conformément à notre cadre Stable LM 2 1.6B établi, tel que détaillé dans notre publication précédente rapport technique. Avec cette version, nous élargissons notre gamme de modèles, offrant aux développeurs un outil transparent et puissant pour innover dans la technologie linguistique de l’IA. Bientôt, nous prévoyons d’introduire une variante à contexte long de ces modèles qui sera disponible sur HuggingFace à la sortie.

Aujourd’hui, nous publions également une nouvelle version de Écurie LM 2 1.6Baméliorant ses capacités de conversation dans les mêmes sept langues tout en conservant ses exigences système remarquablement faibles. La version originale de Stable LM 2 1.6B a déjà atteint une position de leader sur le marché Classement des LLM ouverts démontrant ses performances exceptionnelles pour sa taille.

Capacités

Le modèle Stable LM 2 12B est conçu comme un modèle ouvert efficace adapté aux tâches multilingues avec des performances fluides sur du matériel largement disponible. Ce modèle peut gérer une variété de tâches qui ne sont généralement réalisables que pour des modèles beaucoup plus grands, qui nécessitent souvent des ressources de calcul et de mémoire importantes, telles que de grands Mixture-of-Experts (MoE). De plus, la version optimisée pour les instructions présente des performances élevées dans l’utilisation des outils et l’appel de fonctions, ce qui lui permet d’être parfaitement adapté à diverses utilisations, y compris en tant qu’élément central des systèmes RAG de récupération.

Performance

Nous comparons Stable LM 2 12B à d’autres modèles de langage forts populaires tels que Mixtral (MoE, 13B paramètres actifs sur 47B au total), Llama2 (13B et 70B), Qwen 1.5 (14B), Gemma (8.5B) et Mistral (7B). Comme indiqué ci-dessous, le nouveau Stable LM 2 12B offre des performances solides lorsqu’il est testé sur des tâches à zéro et à quelques coups dans le cadre de tests généraux décrits dans le classement Open LLM et (le nouveau corrigé) MT-Bench.

Avec cette nouvelle version, nous étendons la famille de modèles StableLM 2 à la catégorie 12B, offrant un modèle ouvert et transparent qui ne fait aucun compromis sur la puissance et la précision. Nous sommes convaincus que cette nouvelle version permettra aux développeurs et aux entreprises de continuer à développer l’avenir tout en gardant le contrôle total de leurs données.

Le Stable LM 2 12B peut désormais être utilisé à des fins commerciales et non commerciales avec un abonnement Stability AI. Pour en savoir plus sur les applications commerciales, contactez-nous ici.

Source