fr.wedoany.com Rapport : Xiyu Technology MiniMax prévoit de lancer une nouvelle génération de modèle, nom de code interne M3 Pro, avec une échelle de paramètres atteignant 2,7 billions. Ce modèle devrait être publié et open source au plus tôt au troisième trimestre de cette année, ses capacités étant axées sur le raisonnement complexe, le traitement de tâches multi-étapes, l’exécution d’agents et la génération de code.
L’échelle de paramètres du M3 Pro est nettement supérieure à celle du MiniMax M3. Le MiniMax M3 totalise 428B de paramètres, avec 23B de paramètres activés, utilisant une structure d’activation sparse qui ne sollicite qu’une partie des paramètres lors de l’inférence. Si le M3 Pro atteint le niveau de 2,7 billions de paramètres, l’accent ne sera pas seulement mis sur « un modèle plus grand », mais sur l’amélioration de la capacité à décomposer des problèmes en longues chaînes, à appeler des outils, à générer du code d’ingénierie, à exécuter des tours multiples et à maintenir l’état des tâches, grâce à une plus grande capacité d’experts, un routage de tâches plus performant et des chemins de raisonnement plus complexes. Pour un modèle d’agent, l’échelle de paramètres doit servir la capacité d’exécution : le modèle doit pouvoir décomposer les besoins de l’utilisateur en étapes, sélectionner des outils, lire le contexte, générer des résultats intermédiaires, puis corriger le chemin de la tâche en fonction des retours.
Le MiniMax M3 a été officiellement open source le 15 juin, avec un total de 428 milliards de paramètres et 23 milliards de paramètres activés. Ce modèle est conçu pour les tâches de codage et d’agent, avec des capacités de décomposition autonome des tâches, d’appel d’outils, de raisonnement multi-étapes et de traitement de longs contextes, l’objectif de génération de code passant de « pouvoir fonctionner » à « être livrable ».
La direction technique du M3 Pro continuera à se concentrer sur les tâches d’agent. Le raisonnement complexe ne se limite pas à des problèmes mathématiques ou à des questions-réponses, mais consiste à enchaîner la compréhension du dépôt de code, l’analyse des besoins, la localisation des erreurs, la modification des fichiers, l’exécution des tests, l’optimisation des performances et la livraison des résultats en un processus continu. Les tâches multi-étapes ne consistent pas non plus à appeler le modèle une seule fois pour générer une réponse, mais à faire en sorte que le modèle boucle entre la recherche, la lecture, la planification, l’appel d’outils, l’exécution d’opérations et la vérification des résultats. Si MiniMax rend le M3 Pro open source, les développeurs pourront tester la capacité d’exécution d’un modèle à plus grande échelle de paramètres dans des déploiements locaux, des déploiements en cloud privé, des plateformes d’agents internes d’entreprise et des flux de travail de code.
Fondée début 2022, Xiyu Technology développe des modèles multimodaux et des applications natives IA, couvrant plus de 200 pays et régions avec plus de 300 millions d’utilisateurs individuels, et servant plus d’un million de clients entreprises et développeurs dans plus de 100 pays et régions. Son portefeuille de produits comprend des modèles multimodaux massifs, des applications IA, des plateformes ouvertes et des outils pour développeurs, les capacités des modèles s’étendant du texte, de l’image, de la vidéo et de la parole au code et aux tâches d’agent.
Si le M3 Pro est open source comme prévu, il continuera à augmenter la capacité du modèle et les capacités d’agent par rapport au MiniMax M3. La chaîne technique portera sur la structure du modèle à 2,7 billions de paramètres, la stratégie d’activation sparse, la fenêtre de contexte long, l’interface d’appel d’outils, l’évaluation des tâches de code, la stabilité du raisonnement multi-étapes et le coût de déploiement open source ; ces éléments détermineront s’il peut passer d’un « modèle plus grand » à un « modèle d’exécution d’agent plus puissant ».
