fr.wedoany.com Rapport : Huawei a lancé l’Atlas 950 SuperPoD, un super-nœud de calcul intelligent de qualité commerciale, conçu pour construire des clusters de calcul à grande échelle destinés à l’entraînement de grands modèles et aux scénarios de calcul d’intelligence artificielle à haute densité. Ce système utilise une armoire unique de 64 cartes NPU Ascend 950DT comme unité de déploiement minimale, extensible jusqu’à 8192 cartes NPU Ascend 950DT en interconnexion totale et coopération, formant un chemin de construction complet allant du déploiement d’une seule armoire à l’expansion de clusters à très grande échelle. Huawei a indiqué que l’Atlas 950 SuperPoD est actuellement le plus grand super-nœud de calcul intelligent de qualité commerciale au monde, et que la solution associée a déjà été validée commercialement auprès de clients majeurs, les premières commandes de certaines entreprises Internet de premier plan étant en cours de livraison.

L’accent technique de l’Atlas 950 SuperPoD ne se limite pas à augmenter le nombre de cartes de calcul, mais vise à maintenir une connexion à haut débit et un fonctionnement coordonné de milliers de cartes NPU au sein d’un même système. À mesure que la taille du cluster passe de 64 cartes par armoire à 8192 cartes, les tâches de calcul doivent échanger continuellement des données entre différents équipements, armoires et nœuds. Si la bande passante d’interconnexion est insuffisante, de nombreuses unités de calcul risquent de ne pas exploiter pleinement leurs performances en attendant les données. Par conséquent, la capacité réelle du super-nœud dépend non seulement de la puissance de calcul d’une seule carte NPU, mais aussi de la capacité du réseau d’interconnexion, de l’organisation de la mémoire et de l’ordonnancement du système à soutenir le calcul parallèle à grande échelle.

En termes de performances de calcul de base, la puissance totale de calcul de l’Atlas 950 SuperPoD atteint 8 EFLOPS en précision FP8 et 16 EFLOPS en précision FP4. Ces deux types de capacités de calcul à faible précision sont principalement utilisés pour l’entraînement de grands modèles et les tâches d’intelligence artificielle associées, permettant au système d’améliorer la capacité de traitement par unité de temps lors de calculs à grande échelle de paramètres. Pour les tâches de modèles nécessitant des opérations matricielles continues et un calcul parallèle, plus la puissance de calcul est grande, plus les exigences en matière de transmission de données, de division des tâches et de coordination des nœuds sont élevées. C’est pourquoi l’Atlas 950 SuperPoD conçoit simultanément la puissance de calcul et l’architecture d’interconnexion, plutôt que de simplement empiler des équipements indépendants en un cluster.

Ce super-nœud adopte le protocole d’interconnexion à haut débit Lingqu auto-développé par Huawei et une architecture d’interconnexion entièrement optique, avec une bande passante d’interconnexion système atteignant 16,3 Po/s. Le réseau d’interconnexion à haut débit est responsable de la connexion des différentes cartes NPU et nœuds de calcul, permettant une transmission rapide des paramètres du modèle, des données d’entraînement et des résultats de calcul intermédiaires au sein du cluster. L’architecture d’interconnexion entièrement optique assure en outre les échanges de données entre équipements et nœuds, fournissant un canal sous-jacent pour l’interconnexion totale et la coopération des 8192 cartes, réduisant ainsi les temps d’attente dus au transfert de données lors de l’entraînement parallèle à grande échelle.

Du point de vue de la structure de déploiement, l’unité minimale de 64 cartes par armoire offre des conditions de mise en œuvre progressive pour les projets. Les utilisateurs peuvent d’abord configurer une échelle de base en fonction des besoins réels en puissance de calcul, puis ajouter progressivement des armoires et des cartes de calcul en fonction du nombre de modèles, des tâches d’entraînement et de la charge de travail, sans avoir à déployer un système à la taille maximale dès le départ. À mesure que le cluster s’étend, le protocole d’interconnexion à haut débit Lingqu maintient les relations de connexion entre les différentes unités, permettant aux nouvelles capacités de calcul d’être intégrées dans un système de super-nœud unifié, plutôt que de former des ressources de calcul indépendantes les unes des autres.

La coordination de la mémoire et du stockage est un autre élément clé de l’Atlas 950 SuperPoD. Ce système forme un pool de mémoire partagée de 1152 To via l’architecture de stockage mémoire élastique EMS, permettant à différents nœuds de calcul d’accéder et d’échanger des données dans un espace mémoire unifié. Pour l’entraînement de grands modèles, les paramètres du modèle, les ensembles de données et les résultats intermédiaires nécessitent une occupation continue d’un espace mémoire important. Si les ressources mémoire sont fixées et réparties dans des équipements individuels, certains nœuds peuvent manquer d’espace tandis que la mémoire d’autres nœuds reste sous-utilisée.

Le rôle du pool de mémoire partagée est de centraliser la gestion des ressources mémoire réparties sur différents nœuds, permettant aux tâches de calcul d’être allouées dynamiquement en fonction des besoins réels. La capacité de mémoire partagée de 1152 To offre un espace de données plus important pour l’entraînement de modèles à grande échelle, tout en réduisant la duplication des données entre différents nœuds. L’architecture de stockage mémoire élastique EMS connecte en outre la mémoire et les ressources de stockage, permettant au système d’ajuster l’emplacement des données en fonction de l’état d’exécution des tâches, et de compléter la lecture, l’échange et le traitement des données du modèle en collaboration avec le réseau d’interconnexion à haut débit.

L’Atlas 950 SuperPoD intègre les cartes de calcul, l’interconnexion à haut débit, le réseau entièrement optique et le pool de mémoire partagée dans un même super-nœud, formant une infrastructure au niveau système dédiée à l’entraînement de grands modèles. Les unités de calcul exécutent les tâches du modèle, le protocole Lingqu et l’architecture entièrement optique assurent la communication entre les nœuds, et l’architecture de stockage mémoire élastique EMS organise de manière centralisée les ressources mémoire. Chaque composant détermine ensemble si les 8192 cartes NPU peuvent maintenir une coopération stable. Huawei a indiqué que cette solution peut réduire le coût global de l’entraînement de grands modèles de plus de 30 %, un résultat qui dépend de multiples facteurs tels que le taux d’utilisation de la puissance de calcul, l’efficacité de l’interconnexion et la configuration des ressources mémoire.

Actuellement, ce super-nœud a déjà été validé commercialement auprès de clients majeurs, ce qui indique que le système associé est passé de la recherche et développement technique et des tests de solutions à une phase d’application pratique. Les premières commandes de certaines entreprises Internet de premier plan sont déjà en cours de livraison, et les prochaines étapes du projet se concentreront sur l’installation des équipements, la mise en réseau des clusters, le débogage du système et la mise en service de la puissance de calcul, transformant progressivement le super-nœud d’une livraison matérielle en une infrastructure opérationnelle pour l’entraînement de grands modèles.

De l’armoire unique de 64 cartes à l’interconnexion totale de 8192 cartes, la logique de construction de l’Atlas 950 SuperPoD consiste à étendre continuellement la puissance de calcul via des unités de déploiement standardisées, tout en maintenant la coopération interne du cluster grâce à une interconnexion à haut débit et une mémoire partagée. Alors que les premières commandes entrent en phase de livraison, les performances réelles de cette solution se manifesteront principalement dans le déploiement de clusters à grande échelle, la stabilité de l’interconnexion des nœuds, l’ordonnancement de la mémoire partagée et l’efficacité de l’entraînement des modèles. Les progrès techniques associés deviendront également un jalon important pour observer l’application à grande échelle des super-nœuds de calcul intelligents nationaux.