fr.wedoany.com Rapport : Lors de la conférence GTC à Taipei en juin 2026, Jensen Huang, fondateur et PDG de Nvidia, a souligné que le défi le plus épineux dans l'infrastructure IA concerne le système de mémoire, notamment la gestion du cache KV pour la mémoire de travail des agents IA, ainsi que la récupération de données structurées et non structurées et l'établissement d'ontologies de données. Huang a déclaré que le système de mémoire de l'IA va révolutionner le système de stockage.
Pour répondre à la demande explosive de stockage du cache KV à l'ère de l'inférence IA, Nvidia a lancé la plateforme de stockage mémoire contextuelle CMX (CMX Context Memory Storage Platform), gérée par le DPU BlueField-4. Cette plateforme ajoute une couche contextuelle au niveau du pod entre le SSD local et le stockage partagé.
L'essor de l'IA agentique est en train de remodeler l'architecture des CPU. Huang a mentionné que les agents vivent dans un monde de nanosecondes, où chaque attente les empêche de passer à l'étape suivante, faisant de la latence ultra-faible une exigence primordiale. Alors que Nvidia et Arm ont tous deux lancé des solutions de racks CPU spécialement conçues pour les agents, l'industrie passe d'une architecture orientée débit à une architecture orientée latence, ouvrant ainsi un marché incrémental pour la mémoire CPU.
Les données publiques de Nvidia montrent que depuis le second semestre 2024, le nombre moyen de tokens de sortie par question a explosé à un rythme de plus de 5 fois par an, atteignant environ 30 000 à 40 000 tokens. Cela indique que l'industrie est entrée dans la phase de « réflexion » de mise à l'échelle au moment du test, l'une des trois lois de mise à l'échelle de Nvidia. L'explosion du nombre de tokens de sortie par question se traduit directement par une demande accrue en mémoire et en ressources de calcul.
À l'ère de l'inférence IA, les besoins matériels des puces IA et des systèmes globaux sont radicalement différents de ceux de l'entraînement IA. L'inférence impose trois exigences clés au matériel : un nombre de requêtes par seconde plus élevé, des fenêtres de contexte plus longues, ainsi qu'un plus grand nombre d'étapes d'inférence et de cycles d'agents IA. Ces facteurs entraînent ensemble un changement structurel des besoins en mémoire, qui peut être analysé sous trois dimensions : les poids du modèle, le cache KV et les agents IA.
