fr.wedoany.com Rapport : Le 23, Upstage, entreprise sud-coréenne, a dévoilé son modèle de langage étendu (LLM) à poids ouverts développé en interne, « Solar Open 2 ». Issu du projet gouvernemental « Modèle d'IA souveraine », ce modèle a été publié sur la plateforme open source mondiale Hugging Face, accompagné d'un rapport technique détaillant son architecture et ses méthodes d'apprentissage.
Contrairement à son prédécesseur « Solar Open 1 », Solar Open 2 est spécifiquement conçu pour les agents. Il ne se limite pas à de simples questions-réponses, mais peut traiter des tâches de manière itérative via des dizaines de raisonnements et d'appels d'outils jusqu'à leur achèvement. Le modèle adopte une architecture de Mixture of Experts (MoE) avec un total de 250 milliards de paramètres, mais n'en active que 15 milliards lors de l'exécution. En ne sélectionnant que les parties nécessaires aux calculs, il améliore l'efficacité dans les tâches d'agent qui consomment beaucoup de tokens. Par rapport aux 102 milliards de paramètres de la version précédente, la taille a été multipliée par 2,5, tandis que le nombre de couches reste inchangé à 48.
Solar Open 2 prend en charge un contexte long allant jusqu'à 1 million de tokens, une capacité cruciale pour les tâches d'agent nécessitant une mémoire continue de l'historique des tâches et le traitement de grands volumes de documents. Pour y parvenir, Upstage a regroupé les 48 couches en groupes de 4, déployant de manière mixte une « Attention Softmax » (haute précision mais coûteuse en calcul) et trois « Attention Linéaire » (légères en calcul mais compressant les informations de mémoire). Ainsi, seulement un quart de toutes les couches utilise la méthode Softmax. De plus, le modèle supprime complètement les dispositifs de codage positionnel indépendants, transmettant les informations d'ordre des mots uniquement via la structure de mémoire de l'Attention Linéaire, et intègre une technique d'extension permettant de corriger automatiquement les informations de mémoire erronées.
Upstage indique que la quantité de données d'entraînement nécessaire pour atteindre des performances équivalentes peut être réduite jusqu'à trois fois par rapport à la méthode précédente. Après quantification, le modèle peut fonctionner avec seulement deux puces NVIDIA H200, réduisant ainsi les coûts d'introduction pour les entreprises sur leur propre infrastructure. La technique introduite cette fois-ci ne nécessite plus d'entraîner à partir de zéro des modèles de plusieurs dizaines de milliards de paramètres. Au lieu de cela, seules les parties des poids de « Solar Open 1 » qui chevauchent la nouvelle structure sont réutilisées, en héritant uniquement des parties structurellement identiques comme le vocabulaire, la couche de sortie et la couche de normalisation. Les nouvelles parties générées et le nombre d'experts, passé de 128 à 320, sont réentraînés. Les poids réutilisés ne représentent que 2,3 % du total, mais les expériences montrent que cette méthode peut réduire d'environ 1,7 fois la quantité d'entraînement nécessaire pour atteindre des performances équivalentes. Les données d'entraînement, initialement de 20 billions de tokens, ont été filtrées et concentrées à 10 billions de tokens en fonction de la qualité, avec un rapport entre données réelles et données synthétiques de 4:6, et les proportions de mathématiques et de code ont été ajustées à plus de 15 % chacune.
Lors des tests de performance, Solar Open 2 a surpassé des modèles à poids ouverts majeurs tels que DeepSeek « V4 Flash », Mistral « Medium 3.5 » et Cohere « Command A+ » dans les évaluations de connaissances générales (MMLU-Pro), de programmation (LiveCodeBench), de suivi d'instructions et d'appel d'outils, ainsi que dans l'évaluation globale des agents. Par rapport à son prédécesseur, ses scores ont augmenté de plus de 20 points dans les principaux benchmarks de connaissances, de raisonnement scientifique, de mathématiques et de programmation. En ce qui concerne les capacités en coréen, il a obtenu une moyenne globale supérieure à celle des API fermées comme OpenAI « GPT-5.4 Mini » et Anthropic « Claude Haiku 4.5 » dans les benchmarks coréens. En particulier, il a obtenu un score de 86,8 au benchmark « Ko-GDPval », se rapprochant des performances de DeepSeek « V4 Pro » (86,9), un modèle plus de six fois plus grand. Upstage attribue cela à son propre tokenizer spécialisé pour le coréen, capable de représenter la même phrase coréenne avec beaucoup moins de tokens que d'autres modèles globaux, offrant ainsi des avantages en termes de coût et de vitesse dans les tâches d'agent où l'historique des tâches s'accumule. Dans les évaluations « SWE-Bench » et « TerminalBench », qui mesurent la capacité à effectuer des tâches dans des environnements de dépôt logiciel ou de terminal réels, le modèle est inférieur à des concurrents comme DeepSeek « V4 Flash » et Mimou « V2.5 ». Upstage a indiqué que l'amélioration des capacités d'ingénierie logicielle au niveau des dépôts/terminaux et la précision numérique fine des documents de bureau constituent des axes d'amélioration futurs.
Upstage publie entièrement les poids de Solar Open 2 sous la « Licence Upstage Solar (basée sur Apache 2.0) », autorisant une utilisation commerciale et le développement libre de modèles dérivés. À l'avenir, ce modèle sera appliqué au portail Daum, acquis en mai de cette année, pour étendre les services de recherche/résumé à des services d'agent interactifs. Grâce à la plateforme d'agent IA Timely, acquise en juin de cette année, il soutiendra l'introduction d'agents dans les collectivités locales et les établissements d'enseignement public à travers le pays. Upstage prévoit d'étendre les services basés sur Solar Open 2 à tous les secteurs industriels, notamment la finance, le droit, la santé, le secteur public, la défense, la fabrication, la consommation, la robotique et l'éducation. Il prévoit également de construire une « IA souveraine full-stack » combinant des unités de traitement neuronal (NPU) nationales, et d'enregistrer le modèle sur des plateformes mondiales comme « OpenRouter » et « Hermes Agent » pour développer l'écosystème des développeurs à l'international.
