L'entreprise américaine Thinking Machines dévoile Inkling 2 Small, un modèle d'IA de 594 milliards de paramètres

fr.wedoany.com Rapport : Le 5 novembre, l'entreprise américaine d'intelligence artificielle Thinking Machines Lab a officiellement lancé la deuxième génération de son modèle d'intelligence artificielle Inkling 2 Small. Ce modèle repose sur une architecture à mélange d'experts (MoE), avec un nombre total de paramètres de 594 milliards, dont 17 milliards de paramètres activés par inférence, et prend en charge les entrées textuelles et visuelles ainsi qu'une intensité de raisonnement ajustable. Le nouveau modèle est d'ores et déjà accessible pour l'inférence et le réglage fin via la plateforme Tinker de l'entreprise ; les poids complets du modèle seront publiés sous licence Apache 2.0 après achèvement des tests de sécurité externes.

Inkling 2 Small adopte une architecture Transformer à 48 couches, activant 8 experts sur 384 réseaux d'experts par Token, et combine des mécanismes d'attention locale et globale. Le modèle prend en charge une fenêtre de contexte allant jusqu'à 1 million de Tokens, ainsi que les formats numériques MXFP8 et NVFP4, et peut être utilisé pour le développement logiciel, l'appel d'outils par agents, la recherche de connaissances et les tâches de raisonnement complexe.

Selon les données techniques publiées par Thinking Machines, la première phase de pré-entraînement du modèle a utilisé 8 400 milliards de Tokens, exécutée pendant 68 heures sur le système de calcul NVIDIA GB300 NVL72, avec un entraînement au format natif NVFP4. La deuxième phase a utilisé 3 800 milliards de Tokens de données de haute qualité ; les phases suivantes ont intégré des données de raisonnement à long contexte et des trajectoires d'opérations d'agents, la troisième phase utilisant environ 320 milliards de Tokens de données et la quatrième environ 34 milliards de Tokens de données.

Lors de la phase d'apprentissage par renforcement, Thinking Machines a mené un entraînement conjoint de 9 jours sur 2 048 GPU, réalisant cumulativement 1 075 étapes d'entraînement, plus de 17 millions de simulations de tâches, le traitement de plus de 3 000 milliards de Tokens et un volume de calcul supérieur à 4×10²³ FLOPs. Les tâches d'entraînement couvrent le développement de code, les opérations en terminal, la génération de documents, le raisonnement scientifique, la compréhension visuelle et l'appel d'outils.

Les données d'évaluation des performances montrent qu'Inkling 2 Small obtient un score de 30,6 points à l'indice Artificial Analysis Intelligence Index v5.0, que le communiqué de presse de l'entreprise arrondit à 31 points. Lors du test de travail intellectuel AA-Briefcase v1.1, le modèle obtient 1 527 points ; au test JobBench, il obtient un résultat de 70,5 %. Ces résultats d'évaluation proviennent des tableaux de test publiés par l'entreprise.

Inkling 2 Small est désormais accessible aux développeurs via Tinker Playground, et permet de réaliser l'inférence et le réglage fin du modèle via Tinker. Thinking Machines prévoit d'ouvrir les poids complets du modèle ainsi que les points de contrôle du modèle la semaine prochaine, après achèvement des tests de sécurité externes et des évaluations en équipe rouge. La version actuellement publiée est proposée en mode à poids fermés.