L’équipe d’Alibaba a dévoilé Qwen2-Math, une série de grands modèles de langage spécifiquement conçus pour résoudre des problèmes mathématiques complexes.

Ces nouveaux modèles, construits sur la base existante de Qwen2, démontrent une compétence remarquable dans la résolution de défis arithmétiques et mathématiques et surpassent les anciens leaders du secteur.

L’équipe Qwen a conçu Qwen2-Math à l’aide d’un corpus vaste et diversifié spécifique aux mathématiques. Ce corpus comprend une riche mosaïque de ressources de haute qualité, notamment des textes Web, des livres, du code, des questions d’examen et des données synthétiques générées par Qwen2 lui-même.

Une évaluation rigoureuse des tests mathématiques anglais et chinois, notamment GSM8K, Math, MMLU-STEM, CMATH et GaoKao Math, a révélé les capacités exceptionnelles de Qwen2-Math. Le modèle phare, Qwen2-Math-72B-Instruct, a notamment surpassé les performances des modèles propriétaires tels que GPT-4o et Claude 3.5 dans diverses tâches mathématiques.

« Qwen2-Math-Instruct obtient les meilleures performances parmi les modèles de même taille, avec RM@8 surpassant Maj@8, en particulier dans les modèles 1,5B et 7B », a noté l’équipe Qwen.

Cette performance supérieure est attribuée à la mise en œuvre efficace d’un modèle de récompense spécifique aux mathématiques au cours du processus de développement.

Démontrant davantage ses prouesses, Qwen2-Math a démontré des résultats impressionnants dans des compétitions mathématiques difficiles comme l’American Invitational Mathematics Examination (AIME) 2024 et l’American Mathematics Contest (AMC) 2023.

Pour garantir l’intégrité du modèle et éviter toute contamination, l’équipe Qwen a mis en œuvre des méthodes de décontamination robustes pendant les phases de pré-formation et de post-formation. Cette approche rigoureuse impliquait de supprimer les échantillons en double et d’identifier les chevauchements avec les ensembles de tests afin de maintenir la précision et la fiabilité du modèle.

À l’avenir, l’équipe Qwen prévoit d’étendre les capacités de Qwen2-Math au-delà de l’anglais, avec des modèles bilingues et multilingues en préparation. Cet engagement en faveur de l’inclusion vise à rendre la résolution de problèmes mathématiques avancés accessible à un public mondial.

« Nous continuerons à améliorer la capacité de nos modèles à résoudre des problèmes mathématiques complexes et difficiles », a affirmé l’équipe Qwen.

Vous pouvez retrouver les modèles Qwen2 sur Hugging Face ici.

Article proposé par:

Franck Ribiere

Basé en France entre Aix-en-Provence et Marseille, Franck est un informaticien passionné par l'intelligence artificielle, avec une expertise en développement logiciel web. Toujours à l'affût des dernières avancées, il s'efforce de proposer les infos les + pertinentes.