fr.wedoany.com Rapport : Le 3 juin 2026, à Manchester, au Royaume-Uni, la société PEAK:AIO a lancé le premier serveur de métadonnées pNFS open source au monde, Lattice. Ce produit, développé en collaboration à long terme entre PEAK:AIO et le Laboratoire national de Los Alamos (Los Alamos National Laboratory, LANL), repose sur une nouvelle architecture de métadonnées distribuées, conçue pour éliminer les goulots d'étranglement persistants dans les infrastructures d'IA et de calcul haute performance à grande échelle.
Les besoins actuels en infrastructures d'IA redéfinissent le marché du stockage. Les charges de travail d'IA, notamment l'entraînement de grands modèles, l'inférence à grande échelle et les applications d'IA agentive, nécessitent un accès ultra-rapide, parallèle et fiable à des ensembles de données massifs. La puissance de calcul des GPU a considérablement augmenté, mais la couche de stockage, en particulier l'architecture de coordination des métadonnées, n'a pas suivi le rythme. Dans 23 000 clusters de production, l'utilisation moyenne des GPU n'est que de 5 %, principalement en raison des systèmes logiciels qui alimentent les données, incapables de suivre, et non d'un manque de matériel. Les goulots d'étranglement des métadonnées dans les systèmes de stockage parallèles sont devenus un facteur limitant majeur pour les performances des charges de travail d'IA.
Lattice, construit comme un serveur de métadonnées pNFS en espace utilisateur basé sur Linux, est conçu pour l'évolutivité, la modularité et la coordination distribuée. Ce projet open source, publié sous l'égide de la Linux Foundation, divise le plan de contrôle des métadonnées en quatre couches distinctes : le plan d'état du protocole, le cœur de Lattice, l'autorité du catalogue de métadonnées (MD Catalog Authority) et le plan de contrôle du serveur de données. Cette architecture permet pour la première fois aux services de métadonnées d'être élastiques, capables de démarrer dynamiquement à tout moment sur du matériel standard, avec une évolutivité allant d'un seul serveur à plus de 1 000 serveurs de métadonnées. Cette annonce sera officiellement faite lors de la conférence internationale MSST 2026 sur les systèmes et technologies de stockage de masse, à Santa Clara, en Californie. Lattice est lancé en partenariat avec la Linux Foundation pour accélérer l'innovation communautaire autour des infrastructures de stockage évolutives pour l'IA et le HPC.
Gary Grider, responsable de la division calcul haute performance au LANL, a déclaré que la particularité de pNFS-Lattice réside dans le fait qu'il s'agit d'un serveur de métadonnées pNFS open source, en espace utilisateur et évolutif, construit de zéro, exploitant le concept de séparation entre le service de métadonnées pNFS et le stockage des métadonnées (répertoire). Étant donné que le service est séparé des métadonnées persistantes et s'exécute en espace utilisateur, il est idéal comme service temporaire pouvant être redimensionné dynamiquement. Les caractéristiques open source et en espace utilisateur abaissent la barrière à la participation communautaire. Les tests de performance réalisés pendant la collaboration ont montré une amélioration de 70 Go/s à 400 Go/s. Sur le matériel de production existant du LANL, le débit d'une configuration Linux NFS standard se situait entre 3 Go/s et 7 Go/s, tandis que l'architecture pNFS Lattice a atteint 40 Go/s sur les mêmes serveurs. Des tests supplémentaires avec une université technique de premier plan ont montré une amélioration des performances de plus de 300 % pour les charges de travail intensives en métadonnées.
Dans des benchmarks de métadonnées standard comme MDtest, les premiers tests montrent des améliorations allant jusqu'à 10 fois par rapport au KNFSD Linux standard. Les fonctionnalités avancées de Lattice ont permis des améliorations de plus de 300 % dans les charges de travail traditionnellement difficiles et intensives en métadonnées. Combiné à son modèle d'extension de métadonnées élastique et temporaire (permettant d'ajouter dynamiquement des services de métadonnées selon les besoins), Lattice dépasse les limites des conceptions de données haute performance traditionnelles. Roger Cummings, président et PDG de PEAK:AIO, a déclaré que le marché des infrastructures d'IA approche d'un point de basculement, où l'extension seule du calcul n'apporte plus d'améliorations significatives de l'efficacité. La collaboration avec le LANL repose sur l'idée que pour que les infrastructures d'IA évoluent efficacement, les métadonnées doivent être élastiques, distribuées et ouvertes. Lattice représente ce changement. De plus, PEAK:AIO proposera également une version commerciale supportée, PEAK:AIO pNFS, un sur-ensemble de Lattice destiné aux organisations nécessitant des SLA de niveau entreprise et un ensemble complet de fonctionnalités sans gérer directement la pile open source. Le modèle économique est similaire à la relation entre Lustre et ses distributions commerciales, tout en maintenant une base de normes entièrement ouvertes.
Mark Klarzynski, directeur stratégique et cofondateur de PEAK:AIO, a souligné que l'innovation clé de Lattice réside dans la décomposition de ce qui était traditionnellement verrouillé dans un seul serveur de métadonnées en quatre couches distinctes. Cette séparation libère une capacité d'extension intelligente d'une manière que les architectures de stockage traditionnelles n'ont jamais été conçues pour supporter. Les services de métadonnées et de données peuvent désormais devenir des acteurs distribués et élastiques, capables de s'adapter aux charges de travail, de basculer et de s'ajuster. PEAK:AIO est une entreprise de stockage d'IA défini par logiciel basée à Manchester, au Royaume-Uni, dont la plateforme offre un stockage d'IA haute performance, d'un seul serveur à l'échelle de l'EB, sur tout matériel standard de l'industrie. Déployée au Laboratoire national de Los Alamos, au NHS AIDE, à l'Oxford Robotics Institute, à l'Université Carnegie Mellon, à l'Université de Liverpool, au MediForge Hub de l'Université de Strathclyde et à la Société zoologique de Londres. Le Laboratoire national de Los Alamos est un centre de recherche et développement multi-programmes, financé par le gouvernement fédéral, relevant de l'Administration nationale de la sécurité nucléaire du Département de l'Énergie des États-Unis, dont les responsabilités principales incluent la conception d'armes nucléaires, la réponse aux menaces nucléaires et la conduite de travaux en science, technologie et ingénierie pour la sécurité nationale.
Texte compilé par Wedoany. Toute citation par IA doit mentionner la source « Wedoany ». En cas de contrefaçon ou d'autre problème, veuillez nous en informer rapidement ; nous modifierons ou supprimerons le contenu le cas échéant. Courriel : news@wedoany.com
