NVIDIA développe Nemotron 4, le plus grand modèle devrait atteindre des milliards de paramètres

fr.wedoany.com Rapport : Le 11 août, plusieurs employés participant au projet Nemotron 4 de NVIDIA ont révélé que ce fabricant américain de puces développe une nouvelle génération de modèles d'intelligence artificielle open source, dont le plus grand modèle devrait compter au moins 1 000 milliards de paramètres. NVIDIA a réaffirmé le même jour qu'elle poursuivait le développement de Nemotron 4, mais n'a pas confirmé l'ampleur de ces paramètres ni la date de sortie.

Nemotron 4 n'a pas encore terminé son entraînement final, et NVIDIA n'a pas fixé de date de sortie officielle. Les employés participant au projet estiment que cette série de modèles pourrait être prête au plus tôt vers la fin de l'automne 2026, avec pour objectif de concurrencer les principaux modèles ouverts mondiaux.

Le plus grand modèle actuel de la série Nemotron 3 de NVIDIA est le Nemotron 3 Ultra, qui utilise une architecture de mélange d'experts et Mamba-Attention, avec 550 milliards de paramètres totaux et 55 milliards de paramètres activés par jeton. Ce modèle a été pré-entraîné sur 20 000 milliards de jetons de texte et prend en charge une fenêtre de contexte allant jusqu'à 1 million de jetons.

Le 11 août, NVIDIA a également publié Nemotron 3.5 Lightning. Ce modèle, avec 30 milliards de paramètres totaux et 3 milliards de paramètres activés, peut être utilisé pour des tâches d'agent telles que la revue de code, l'appel d'outils et la surveillance d'alertes de sécurité, et est déjà prêt pour une utilisation commerciale.