fr.wedoany.com Rapport : L'entreprise américaine de Neocloud Parasail déploie une combinaison de GPU NVIDIA Hopper et Blackwell avec l'accélérateur d'inférence d-Matrix Corsair pour construire une infrastructure d'inférence IA hétérogène. Cette solution, destinée aux services d'inférence de grands modèles, permet d'augmenter le taux de génération de tokens jusqu'à 10 fois et d'améliorer l'efficacité des coûts des services d'inférence.
Le cœur de cette infrastructure réside dans la division du processus d'inférence en deux phases distinctes. La phase de préremplissage en amont de l'inférence des grands modèles, qui traite le contexte d'entrée, les invites, l'historique des conversations et les longs contenus textuels, est très intensive en calcul et est mieux adaptée aux GPU NVIDIA Hopper et Blackwell. La phase de décodage en aval de l'inférence, qui génère les tokens un par un, est plus sensible à la latence, à l'accès mémoire et au débit soutenu, et est mieux adaptée aux ASIC d'inférence dédiés comme le d-Matrix Corsair. Grâce à une technologie d'optimisation automatique des noyaux, Parasail répartit dynamiquement la charge de travail entre différents matériels, permettant aux GPU et aux ASIC dédiés d'exécuter des tâches mieux adaptées à leur architecture respective, plutôt que de faire reposer toute la chaîne d'inférence sur une seule puce.
Le d-Matrix Corsair utilise une architecture de calcul en mémoire numérique, intégrant plus étroitement les unités de calcul et les ressources de stockage dans la même structure de puce. Dans les systèmes d'inférence traditionnels, les données doivent être fréquemment déplacées entre le processeur et la mémoire externe, ce qui entraîne des coûts en temps, en énergie et en argent. Le Corsair réduit ces déplacements de données grâce à l'architecture D-IMC. Cette puce est basée sur le procédé N6 de TSMC, utilise un substrat organique et une mémoire LPDDR5, et est conçue pour un déploiement d'inférence évolutif dans les centres de données.
Le déploiement de Parasail est un exemple de découplage hétérogène d'inférence au niveau production. La plateforme de l'entreprise agrège des ressources GPU haute performance provenant de plus de 40 centres de données dans 15 pays, offrant aux développeurs des points de terminaison de modèles et des services d'inférence. En ajoutant le Corsair à l'infrastructure NVIDIA existante, la chaîne d'inférence peut établir une division du travail entre le préremplissage sur GPU et le décodage sur ASIC, améliorant ainsi l'efficacité d'utilisation des clusters Hopper et Blackwell existants.
L'inférence hétérogène ne consiste pas simplement à ajouter une puce, mais à modifier le chemin d'exécution des services d'inférence. La phase de préremplissage se concentre sur les calculs matriciels à grande échelle et le traitement du contexte, où la capacité de calcul parallèle des GPU est adaptée aux tâches à haut débit. La phase de décodage, quant à elle, lit constamment l'état du modèle, le cache et les nouveaux tokens générés, et est plus sensible à l'accès mémoire, à la latence de réponse et à l'efficacité énergétique. En rapprochant le calcul et le stockage, le Corsair peut réduire la pression des déplacements de données pendant le décodage, rendant la génération de tokens plus adaptée à une sortie à faible latence.
La gamme de produits d-Matrix comprend également l'accélérateur d'inférence Corsair, l'accélérateur réseau JetStream, le logiciel Aviator et la solution au niveau rack SquadRack, visant à fournir une infrastructure d'inférence IA à faible latence et haute efficacité énergétique pour les centres de données. En intégrant le Corsair dans le pool de ressources GPU NVIDIA, Parasail ne crée pas une solution de remplacement des GPU, mais un modèle de déploiement hybride où les GPU et les accélérateurs d'inférence dédiés assument différentes phases de l'inférence.
Les détails ultérieurs des performances seront divulgués via les résultats des tests et les études de cas après les premiers déploiements. L'architecture actuelle est déjà claire : les GPU Hopper et Blackwell assurent le préremplissage intensif en calcul, les ASIC Corsair assurent le décodage sensible à la latence, et Parasail, grâce au routage dynamique et à l'optimisation des noyaux, répartit les charges de travail des différents modèles sur le matériel approprié, fournissant finalement des services de tokens cloud aux développeurs et aux clients entreprises.
