fr.wedoany.com Rapport : Deux équipes de recherche, l’une sud-coréenne et l’autre japonaise, ont présenté lors du symposium IEEE sur les circuits intégrés à très grande échelle des solutions d’empilement latéral de puces DRAM, cherchant à surmonter les problèmes de surchauffe et de goulot d’étranglement de la bande passante auxquels est confrontée la mémoire à large bande passante (HBM).
Actuellement, la HBM utilisée dans les GPU des centres de données est constituée de plusieurs couches de puces DRAM empilées verticalement sur un substrat, les données et l’énergie étant transmises par des interconnexions traversantes en silicium (TSV). La conductivité thermique du matériau de remplissage entre les puces est bien inférieure à celle du substrat en silicium, ce qui entrave le transfert de chaleur vers le dissipateur thermique du boîtier. À mesure que le nombre de couches empilées augmente, non seulement le problème de chauffe s’aggrave, mais la surface occupée par les TSV empiète également sur l’espace des cellules de mémoire, rendant le conflit entre capacité de stockage et bande passante de plus en plus prononcé.
Face à ces limitations, l’équipe sud-coréenne a emprunté une voie différente. Le laboratoire de Jimin Kwon de l’Institut national des sciences et technologies d’Ulsan (UNIST) et l’équipe de Seongjoo Kim de l’Université nationale de Hanbat ont proposé une solution baptisée V-Die. Celle-ci consiste à empiler verticalement les puces DRAM sur le côté et à introduire des canaux de refroidissement par microfluides entre les puces. Les simulations montrent qu’avec la technologie de refroidissement liquide direct (DLC), la température maximale de l’empilement V-Die descend à environ 45 °C, bien en dessous du pic de température du HBM4, qui dépasse généralement 80 °C. En éliminant les TSV et la puce de base, la totalité de la paroi latérale de chaque puce faisant face à l’interposeur peut être utilisée pour le routage des entrées/sorties, offrant ainsi jusqu’à quatre fois plus de points de connexion que le HBM4. Les simulations basées sur la spécification JEDEC HBM4 indiquent que l’architecture V-Die offre une bande passante crête 4,01 fois supérieure à celle du HBM4, avec une latence de lecture réduite de 37,2 %. Lors de tests de charge de travail réelle en IA, une simulation d’un modèle de langage de grande taille de type GPT-3 (175 milliards de paramètres) fonctionnant sur 8 nœuds de calcul GPU a montré que le système V-Die peut traiter 540 tokens par seconde, contre 296 tokens pour un système HBM4 de capacité équivalente, soit un débit de décodage multiplié par 1,82 ; la latence de traitement du premier token est réduite d’environ 32 % (24 millisecondes). L’équipe de recherche prévoit que la vitesse globale du V-Die est 82 % supérieure à celle du HBM4. Actuellement, l’équipe développe un prototype pour valider les caractéristiques thermiques et électriques.
L’équipe japonaise, quant à elle, s’attaque aux défis d’intégration de l’empilement latéral. Des chercheurs de l’Université de Tokyo, de l’Université du Tohoku et de Riken ont présenté la solution MOSAIC. Ils ont abandonné les connexions électriques traditionnelles pour fabriquer, sur un côté de la puce mémoire, des bobines d’induction rectangulaires d’environ 80 micromètres sur 240 micromètres, tout en plaçant verticalement des bobines correspondantes sur le substrat, utilisant l’induction du champ magnétique pour transmettre les signaux de données. Comme les bobines n’ont pas besoin d’être parfaitement superposées, cette méthode réduit les exigences de cohérence d’épaisseur des puces. Les connexions d’alimentation sont placées sur les côtés du cube mémoire. Le MOSAIC est conçu pour être monté au-dessus du GPU, chaque cube intégrant 98 puces pour offrir une capacité de stockage de 294 Go, soit le double de la capacité d’un HBM4 de volume équivalent. Bien qu’il n’utilise pas de refroidissement liquide, la chaleur peut être dissipée vers le haut par des ailettes en silicium, la température de pointe étant maintenue en dessous de 81,3 °C. L’équipe note qu’en réduisant l’épaisseur des puces DRAM de la valeur standard à 100 micromètres, le même volume pourrait intégrer 294 puces, offrant une capacité de 882 Go.
James Myers, responsable de projet chez Imec, a souligné que les solutions d’empilement latéral sont confrontées à des défis d’intégration pratiques. Même une différence d’épaisseur de quelques micromètres entre les puces DRAM peut, après accumulation sur plusieurs couches, entraîner un désalignement avec les plots du substrat. Les solutions susmentionnées ont toutes été présentées le mois dernier lors du symposium IEEE sur les circuits intégrés à très grande échelle.
