fr.wedoany.com Rapport : Le 30 juin, Meituan a officiellement dévoilé LongCat-2.0, un nouveau modèle massif à des billions de paramètres, et a annoncé sa mise à disposition en open source. Ce modèle totalise 1,6 billion de paramètres, avec une moyenne d'environ 48 milliards de paramètres activés, une plage d'activation dynamique comprise entre 33 et 56 milliards, et prend en charge nativement un contexte ultra-long de 1 million de tokens. LongCat-2.0 est un modèle à des billions de paramètres dont l'intégralité de l'entraînement et de l'inférence a été réalisée sur un cluster de calcul national de 50 000 cartes, avec des données de pré-entraînement dépassant 30 billions de tokens, couvrant des données en chinois, anglais, multilingues et code, fournissant des capacités de modèle de base pour la compréhension de textes longs, le traitement de code, les tâches multilingues et les applications d'agents complexes.

La publication de LongCat-2.0 étend les capacités des modèles massifs de Meituan des applications métier à l'open source des modèles de base. Le cluster de calcul national de 50 000 cartes, le total de 1,6 billion de paramètres et la fenêtre de contexte de 1 million de tokens sont les informations techniques les plus remarquables de cette publication.

Du point de vue de l'architecture du modèle, LongCat-2.0 adopte une configuration avec un total de paramètres à l'échelle du billion et des centaines de milliards de paramètres activés, avec une moyenne d'environ 48 milliards activés et une plage d'activation dynamique de 33 à 56 milliards. Les tâches complexes peuvent faire appel à davantage de paramètres, tandis que les tâches légères peuvent réduire la consommation de calcul. Cette conception contribue à maîtriser les coûts d'inférence et à améliorer l'efficacité d'utilisation des ressources dans différents scénarios de tâches. La capacité de contexte ultra-long de 1 million de tokens permet au modèle de traiter en une seule fois des documents, bases de code, contrats, fichiers de projet et enregistrements de tâches multi-tours de plus grande envergure, réduisant ainsi la perte d'informations due à la segmentation de contenus longs.

La puissance de calcul nationale est une autre information clé de cette publication. Le fait que LongCat-2.0 ait été entraîné et inféré sur un cluster de calcul national de 50 000 cartes indique que l'infrastructure nationale d'IA est désormais intégrée dans la chaîne d'entraînement de modèles à très grande échelle.

Après son ouverture en open source, LongCat-2.0 sera accessible aux développeurs, entreprises et instituts de recherche. Des secteurs tels que la fabrication, la vente au détail, la logistique, la chaîne d'approvisionnement et les services d'ingénierie disposent d'une grande quantité de documents longs, notamment des manuels d'équipement, des spécifications techniques, des contrats d'achat, des fichiers de projet, des enregistrements de service client, des dépôts de code et des bases de connaissances d'entreprise. Le modèle à contexte de 1 million de tokens peut être utilisé pour les questions-réponses sur les bases de connaissances, l'analyse de documents longs, l'assistance au code, l'automatisation des processus métier et l'orchestration de tâches d'agents, réduisant ainsi les barrières pour les entreprises dans la construction de modèles sectoriels et d'applications privatisées.

La publication de LongCat-2.0 par Meituan signale son engagement continu à investir dans les capacités de base des modèles massifs. Les effets ultérieurs de l'application dépendront toujours des poids du modèle, des rapports techniques, des conditions de licence, des coûts d'inférence et de l'étendue de l'ouverture des outils associés.