fr.wedoany.com Rapport : Nvidia a récemment ouvert le modèle Nemotron-Labs-TwoTower, qui améliore l'efficacité de génération de texte des grands modèles de langage grâce à une architecture à deux tours. Lors des tests, ce modèle conserve 98,7 % de la qualité du modèle de base autorégressif, tout en multipliant par 2,42 le débit de génération réel. Les poids correspondants sont désormais disponibles sur la plateforme Hugging Face.
L'innovation technique de TwoTower consiste à séparer les deux tâches de « compréhension du contexte » et de « génération de nouveaux tokens » dans les modèles de langage traditionnels. La plupart des modèles autorégressifs génèrent les tokens un par un de manière séquentielle : tant qu'un token n'est pas terminé, le suivant ne peut pas entrer dans un flux de sortie stable. Cette approche offre une qualité élevée, mais elle crée un goulot d'étranglement en termes de vitesse, notamment pour les textes longs, la génération de code, les tâches d'agents et les services à forte concurrence. L'architecture TwoTower proposée par Nvidia divise le modèle en une tour de contexte et une tour de débruitage : la tour de contexte est chargée de lire les invites et le texte existant, en conservant la capacité du modèle autorégressif à comprendre la sémantique, la logique et le contexte ; la tour de débruitage est chargée de corriger itérativement les blocs bruités, permettant ainsi à la génération de texte de progresser de manière plus parallèle.
Du point de vue de la structure du modèle, Nemotron-Labs-TwoTower est construit sur la base de Nemotron-3-Nano-30B-A3B, avec deux tours d'environ 30B chacune, utilisant une architecture hybride Mamba-Transformer MoE. La tour de contexte reste figée, assurant principalement une tâche de représentation contextuelle « en lecture seule » ; la tour de débruitage est entraînée séparément, utilisant une attention bidirectionnelle par blocs et une attention croisée couche par couche pour lire les informations sémantiques de la tour de contexte, puis effectuer la génération et le débruitage par blocs. Cette conception évite qu'un seul réseau n'ait à assumer à la fois les fonctions de représentation contextuelle et de débruitage itératif, et permet de réutiliser les capacités du modèle autorégressif pré-entraîné, sans avoir à entraîner un modèle de langage de diffusion à partir de zéro.
En termes d'entraînement et d'efficacité, la valeur de TwoTower ne se limite pas à l'accélération de l'inférence. Selon l'article, le modèle a été entraîné sur environ 2,1 billions de tokens et adapté à partir d'un modèle à architecture mixte de 30B à poids ouverts. Contrairement aux modèles de langage de diffusion traditionnels qui souffrent souvent d'une baisse de compréhension sémantique, TwoTower conserve la tour de contexte autorégressive figée, maintenant ainsi la maîtrise des connaissances linguistiques et des contextes longs du modèle existant, tandis que la tour de débruitage se concentre sur la résolution du problème de génération parallèle. En d'autres termes, il ne s'agit pas simplement de sacrifier la qualité pour la vitesse, mais de repenser le flux de génération en divisant les tâches du modèle.
Un gain de vitesse de génération de tokens de 2,42 fois a un impact direct sur les développeurs et le déploiement en entreprise. Avec l'entrée des applications de grands modèles dans les domaines des agents, de la programmation IA, des chatbots de service client, de la génération de bases de connaissances et du traitement de longs documents, la vitesse de sortie affecte le temps d'attente des utilisateurs, la capacité de concurrence des services et le coût d'inférence. Une tâche d'agent peut impliquer plusieurs cycles de planification, d'appels d'outils, de génération de code, de vérification des résultats et de sortie explicative ; plus la génération de tokens est lente, plus la tâche globale est longue. Si le modèle peut améliorer le débit tout en maintenant une qualité proche de l'original, il permet à un même matériel de supporter plus de requêtes, ou de réduire le temps de réponse pour un même nombre de requêtes.
Cette ouverture fait également de TwoTower plus qu'une simple architecture de laboratoire. La page Hugging Face indique que Nemotron-Labs-TwoTower-30B-A3B-Base-BF16 peut être chargé via Transformers, et déployé avec vLLM, SGLang ou Docker Model Runner. Pour les chercheurs, les poids ouverts facilitent la reproduction des expériences, la comparaison des modes de décodage et l'exploration des performances des modèles de langage de diffusion dans la génération de textes longs ; pour les équipes d'ingénierie, le modèle open source peut être intégré dans des environnements de test locaux pour évaluer le coût d'inférence, l'occupation mémoire, le débit du service et la stabilité de la qualité.
Cependant, TwoTower ne signifie pas que toutes les tâches textuelles bénéficieront inconditionnellement d'une amélioration de 2,42 fois. La vitesse réelle dépend de la configuration matérielle, de la taille du lot, de la longueur du contexte, de la stratégie de décodage, du framework de déploiement et du type de tâche. Pour les questions-réponses courtes, les faibles concurrences ou les scénarios fortement dépendants de l'ordre de génération, les gains peuvent être moins importants que pour la génération de textes longs, la complétion de code ou les sorties multi-étapes des agents. Le fait que le modèle conserve 98,7 % de la qualité implique également une certaine perte de capacité, en particulier dans les tâches mathématiques, de code ou nécessitant un raisonnement rigoureux ; les développeurs doivent donc valider avec leurs propres données métier.
L'ouverture de TwoTower par Nvidia reflète le fait que la concurrence dans le domaine des grands modèles passe de l'expansion des paramètres à des eaux plus profondes : efficacité de génération, coût d'inférence et capacité de déploiement technique. Une vitesse de génération de tokens plus rapide peut rapprocher les applications IA d'une interaction en temps réel ; le support des poids ouverts et des frameworks de déploiement courants permet aux entreprises de tester la nouvelle architecture sur leur propre matériel et dans leurs processus métier. L'objectif de TwoTower n'est pas de remplacer tous les modèles autorégressifs, mais d'offrir une nouvelle voie de génération pour les textes longs, les fortes concurrences, les agents et l'inférence locale : conserver la capacité de compréhension contextuelle des modèles existants tout en résolvant le goulot d'étranglement de la génération token par token avec un mécanisme de débruitage de type diffusion.
