fr.wedoany.com Rapport : La compétition en matière de performance des grands modèles de langage (LLM) est désormais profondément liée à la « stratégie d’infrastructure » des entreprises d’IA. AMD souligne dans son blog que l’augmentation de la taille des clusters de GPU se heurte à des contraintes multiples, telles que l’alimentation électrique, les coûts et les goulots d’étranglement réseau. Par conséquent, la « conception matériel-logiciel en synergie », qui prend en compte les limitations matérielles dès les premières phases de conception logicielle, devient une stratégie centrale pour les entreprises d’IA.
Le « Grok 4.0 » de xAI et le « DeepSeek-V2 » de DeepSeek illustrent deux approches d’infrastructure radicalement différentes. xAI a opté pour une stratégie d’infrastructure à grande échelle en déployant le cluster « Colossus » composé de 200 000 H100. Cependant, à cette échelle, le goulot d’étranglement réseau dans le transfert de données entre GPU réduit l’efficacité globale du calcul. Pour relever ce défi, xAI a lié 9 cartes d’interface réseau (NIC) de 400 G par serveur lors du développement de Grok 4.0, atteignant une bande passante de 3,6 Tb/s. Par ailleurs, pour réduire les coûts, xAI a utilisé RoCE basé sur Ethernet standard plutôt que l’InfiniBand de Nvidia. Face au problème d’« effondrement de l’entropie » causé par les graphes de calcul statiques, xAI a introduit la technologie de « routage adaptatif », qui modifie le chemin des paquets en temps réel.
À l’inverse, DeepSeek a choisi de maximiser l’efficacité matérielle dans un environnement de clusters H800 relativement plus petits, allant de 2 000 à 50 000 GPU. Incapable d’augmenter aveuglément le matériel, DeepSeek a travaillé au niveau architectural pour réduire fondamentalement le volume des communications réseau. DeepSeek-V2, tout en adoptant une structure de mixture d’experts (MoE), a conçu la technique de « routage expert limité par périphérique », qui superpose simultanément le goulot d’étranglement inhérent au modèle MoE — la communication de routage des experts — avec le calcul matériel des GPU. Grâce à cette optimisation logicielle, le temps d’inactivité des GPU dû au blocage réseau est minimisé, et DeepSeek a atteint des performances compétitives avec un coût d’infrastructure matérielle équivalant seulement à un dixième de celui de Grok 4.0.
Les stratégies opposées adoptées par les deux modèles montrent que l’expansion aveugle de l’infrastructure présente des limites évidentes en termes de coût et d’efficacité. La capacité de « conception en synergie », qui consiste à comprendre précisément les contraintes de l’infrastructure matérielle et à ajuster finement le modèle en conséquence, deviendra un facteur clé de la compétitivité sur le marché futur de l’IA.
