fr.wedoany.com Rapport : Meta a récemment dévoilé la conception détaillée de son infrastructure de stockage, affirmant que son système permet de réduire jusqu'à 97 % le temps nécessaire aux chercheurs pour déplacer les données d'entraînement de l'IA entre les régions. Le géant technologique développe son activité de cloud computing et pourrait bientôt rejoindre le rang des hyperscalers. Dans une note publique, Meta indique que la puissance de calcul des unités de traitement graphique double environ tous les deux ans, mais que la vitesse de stockage ne suit pas ce rythme. Pour combler cet écart et servir les clusters de stockage destinés à Meta AI, Reality Labs, les plateformes de médias sociaux et les futurs clients du cloud, les ingénieurs ont reconstruit leur couche de stockage BLOB, située au-dessus de Tectonic, une structure de stockage multi-locataire de plusieurs exaoctets répartie dans les centres de données du monde entier.
L'architecture BLOB traditionnelle de Meta n'était pas efficace en termes de ressources pour l'entraînement de l'IA. Les ingénieurs logiciels Sidharth Bajaj et Venkatraghavan Srinivasan expliquent que l'ancien système empilait trop de couches de service et devait effectuer des recherches séquentielles de métadonnées avec état entre plusieurs couches avant de pouvoir résoudre le chemin du fichier vers l'emplacement de stockage réel, ce qui augmentait la latence et réduisait les performances. La base de stockage reconstruite repose sur trois changements fondamentaux : premièrement, la consolidation des systèmes de métadonnées dispersés en un modèle unifié, soutenu par une base de données appelée ZippyDB, permettant une recherche quasi instantanée des chemins ; deuxièmement, la suppression du « proxy du plan de données » au profit d'une architecture « client lourd » qui transfère directement les flux d'octets du serveur de stockage au client, réduisant la latence tout en améliorant l'efficacité énergétique ; troisièmement, le passage d'un modèle de déploiement mondial à un modèle régional, en plaçant le stockage au même endroit que les GPU réellement nécessaires.
Outre l'amélioration complète de la pile de stockage globale, les ingénieurs de Meta ont également utilisé la mémoire GPU inoccupée comme cache distribué pour les données fréquemment accédées simultanément. L'équipe a réutilisé l'expérience du système Owl, utilisé pour distribuer de grands objets de données, en intégrant sa logique de partage pair à pair dans le kit de développement logiciel du client de stockage BLOB, de sorte que tous les accès aux données passent par ce cache, réduisant ainsi la fréquence des requêtes des GPU vers le stockage. De plus, Meta a introduit un cache de métadonnées « plan de lecture » indépendant, qui renvoie l'adresse de stockage des fichiers fréquemment demandés en une à deux millisecondes. Cette combinaison absorbe les pics de demande, par exemple lorsque les GPU redémarrent simultanément et demandent les mêmes poids de modèle « chauds », tout en améliorant la latence.
La version finale a également corrigé les problèmes de congestion et de dépassement de délai causés par les pics d'exportation. Meta a mis en œuvre une solution logicielle de contrôle de concurrence dynamique qui ajuste le parallélisme en fonction des signaux de congestion au niveau de l'application, réduisant automatiquement le nombre de requêtes que l'application peut envoyer en cas de trafic élevé. Selon Bajaj et Srinivasan, la pile de stockage BLOB révisée peut désormais prendre en charge les charges de travail d'IA sans entraîner de stagnation des GPU, offrant à la fois des économies et des avantages en termes de performances.
Pour résoudre les problèmes de livraison des données, les ingénieurs ont construit un système de cache hiérarchique, imitant la manière dont le CPU d'un ordinateur extrait les données du disque vers des niveaux de stockage plus rapides. La mémoire et la mémoire flash sur l'hôte GPU constituent le niveau le plus rapide, le stockage BLOB flash régional étant le niveau suivant, les données nécessaires étant extraites à l'avance vers un stockage plus rapide via un mécanisme de « prélecture », et le stockage BLOB global basé sur HDD servant de source de vérité finale. Ce nouveau paradigme de chargement de données a été appliqué aux charges de travail de production, réduisant le temps d'ingestion moyen de 150 minutes à 10 minutes, soit une baisse de 93 %. Dans le meilleur des cas, Meta a observé une réduction du temps d'ingestion de 89 heures à 182 minutes, soit une baisse de 97 %. Meta déclare : « Les charges de travail modernes de l'IA sont gourmandes en données, et les goulots d'étranglement du stockage affectent directement l'utilisation des GPU et les coûts de calcul. En reconstruisant le sous-système de métadonnées et en adoptant une architecture de cache hiérarchique avec prélecture/hydratation à la demande, nous sommes en mesure de répondre efficacement aux besoins des charges de travail actuelles. »
