Meituan (Chine) dévoile le grand modèle multimodal LongCat-2.5

fr.wedoany.com Rapport : Le 2 novembre, Meituan (Chine) a officiellement dévoilé sa nouvelle génération de grand modèle, LongCat-2.5. Il s'agit d'un modèle multimodal natif destiné aux tâches d'agents à long horizon, dont le nombre total de paramètres atteint 1 600 milliards, avec environ 48 milliards de paramètres activés par Token. Par rapport à la génération précédente LongCat-2.0, le nouveau modèle renforce davantage la compréhension visuelle native et les capacités de programmation agentique, en ciblant principalement le développement de bases de code complexes, la construction de projets logiciels complets ainsi que les tâches multi-étapes nécessitant une exécution continue.

LongCat-2.5 améliore sa capacité à traiter des tâches à long horizon en ajustant les données d'entraînement et le processus d'apprentissage par renforcement. Meituan a intégré davantage de données de trajectoires de tâches à long horizon dans l'entraînement sur longues séquences et a adopté un apprentissage par renforcement à long horizon à grande échelle, conférant au modèle une capacité d'exécution continue renforcée dans les processus complexes de développement logiciel. L'équipe de recherche a également transformé les trajectoires d'échec générées lors de l'exécution de tâches par des agents réels en tâches d'entraînement reproductibles et vérifiables, puis a complété les données d'entraînement en ciblant les lacunes de capacités révélées par le modèle, afin d'améliorer les performances d'exécution dans les tâches complexes.

Traitement multimodal : LongCat-2.5 adopte une approche de compréhension visuelle native, en représentant les signaux visuels sous forme de Tokens discrets à plusieurs niveaux, ce qui permet au modèle de traiter les entrées visuelles et textuelles dans un cadre unifié de Tokens. Cette conception permet au modèle non seulement de comprendre les informations d'image, mais aussi d'exploiter ses capacités de compréhension visuelle pour des tâches de programmation, prenant en charge des scénarios d'application tels que le Visual Coding, le design créatif et la génération de contenu 3D.

Lors de la phase d'entraînement intermédiaire, Meituan a adopté un entraînement sur des séquences à contexte long allant jusqu'à 1 million de Tokens, avec un volume cumulé d'entraînement atteignant plusieurs milliers de milliards de Tokens, et a optimisé l'utilisation de la mémoire vidéo, la communication entre cartes et l'ordonnancement des ressources de calcul dans un environnement de puissance de calcul national. Dans les tests de micro-ajustement supervisé à contexte long publiés par Meituan, le débit d'entraînement par carte après optimisation a augmenté de 86 % par rapport à la référence de parallélisme de données distribué (DDP).

La phase d'inférence utilise un schéma de quantification W4A4, quantifiant simultanément les poids des experts du modèle et les activations à 4 bits, afin de réduire la charge de calcul et de transfert de données. Les tests de charge en ligne de Meituan montrent que, par rapport à la référence W8A8 INT8 où les poids et les activations sont tous deux quantifiés à 8 bits, le nouveau schéma améliore d'environ 40 % le débit de traitement des entrées et de génération Token par Token, réduit d'environ 16 % le temps d'attente de la première sortie et raccourcit d'environ 20 % le temps de génération de chaque Token suivant. Ces données proviennent d'environnements de test spécifiques publiés par l'entreprise et ne signifient pas que tous les scénarios de déploiement obtiendront des gains de performance d'une ampleur identique.

Les utilisateurs peuvent essayer le modèle en ligne via le site officiel de LongCat, et les développeurs peuvent y accéder via la plateforme API. Selon les informations publiées par l'équipe technique de Meituan, les versions GitHub et Hugging Face sont prévues pour une publication ultérieure. Les domaines d'application du nouveau modèle incluent le développement logiciel complexe, la programmation visuelle et le design créatif, entre autres tâches nécessitant un traitement multi-étapes.