fr.wedoany.com Rapport : Lors du congrès international de supercalculateurs ISC High Performance 2026, Zheng Yong, architecte senior du stockage distribué chez Huawei, a souligné dans son discours que la fusion accélérée de l'IA et du calcul haute performance (HPC) entraîne une augmentation continue de la taille, de la diversité et de la mobilité des données de recherche. L'infrastructure de données devient un moteur clé pour libérer la valeur des données et stimuler l'innovation scientifique.
Actuellement, l'IA transforme profondément les paradigmes de la recherche scientifique. De l'assistance à la recherche par grands modèles à l'innovation pilotée par des agents intelligents, la dépendance de la recherche envers les données ne cesse de croître, avec une tendance à la fusion multimodale et au partage interdomaines des données. Parallèlement, les organisations de recherche sont confrontées à deux défis : d'une part, gérer efficacement des données massives à l'échelle du pétaoctet (PB) voire de l'exaoctet (EB) ; d'autre part, l'accélération de l'innovation pilotée par l'IA impose des exigences plus élevées en matière de stockage, de gouvernance et de circulation des données. Pour y répondre, Huawei a développé une solution d'infrastructure de données de bout en bout pour les scénarios de fusion HPC+IA dans la recherche, afin d'aider les institutions scientifiques à libérer la valeur des données et à accélérer l'innovation.
Pour la gestion des données de recherche, Huawei propose une solution de lac de données IA, reposant principalement sur le stockage distribué tout-flash OceanStor Pacific. Grâce à une densité de capacité élevée de 11 PB/2U, elle offre un coût total de possession (TCO) optimal et permet de stocker des données massives. La solution intègre l'espace de données unifié DME Omni-Dataverse, prenant en charge l'ingestion en temps réel de données multimodales et multisites, ainsi qu'une visibilité et une gestion globales. Elle offre également une capacité de recherche en quelques secondes sur des données vectorielles de centaines de milliards de dimensions, accélérant ainsi la convergence, l'exploration et l'approvisionnement de données de haute qualité. Combinée à une chaîne d'outils IA ouverte, cette solution améliore encore l'efficacité de la gouvernance des données non structurées, fournissant une base de données solide pour l'innovation en IA.
Pour le calcul haute performance dans la recherche, Huawei a construit une base de données fusionnant HPC et IA. Dans les scénarios d'entraînement HPC et IA, le boîtier intelligent OceanDisk 1610 constitue la base de stockage optimale pour les systèmes de fichiers parallèles, s'intégrant de manière transparente à BeeGFS, Lustre et autres systèmes de fichiers, offrant une bande passante de 220 Go/s et une densité de capacité élevée de 4 PB/2U, tout en réduisant les coûts d'espace et d'énergie des centres de données lors de l'approvisionnement efficace des données d'entraînement. Dans les scénarios d'inférence IA, Huawei lance la plateforme de données IA « 3+1 », intégrant une base de connaissances, une bibliothèque de cache KV et une bibliothèque de mémoire, et atteint une recherche de connaissances de haute précision supérieure à 95 % grâce à la technologie de gestion de la mémoire de données d'inférence UCM. Pour les clusters d'inférence à très grande échelle, Huawei dévoile le stockage de mémoire contextuelle CMS (Context Memory Storage) et le boîtier intelligent OceanDisk 1800 basé sur DPU, prenant en charge les capacités sémantiques KV natives et le passage direct xPU, construisant un pool de cache KV partagé à l'échelle du PB, améliorant considérablement le taux de succès du cache, réduisant la latence du premier jeton de 90 %, et augmentant globalement l'efficacité de l'inférence.
À l'avenir, Huawei continuera à se concentrer sur le stockage de données, la gouvernance des données et l'innovation dans l'utilisation des données par l'IA, afin d'aider les institutions de recherche du monde entier à libérer la valeur des données et à accélérer l'innovation scientifique.
