fr.wedoany.com Rapport : La JEDEC (Joint Electron Device Engineering Council) a publié une nouvelle spécification visant à réduire le coût élevé de la HBM (mémoire à large bande passante) utilisée pour alimenter les processeurs IA les plus rapides. En permettant l’installation de piles mémoire SPHBM4 sans nécessiter d’encapsulation avancée et en utilisant des substrats organiques bon marché, cette nouvelle norme pourrait rendre la mémoire à large bande passante plus abordable. Cependant, elle ne contribuera pas à atténuer la pénurie de DRAM, car elle utilise de grands composants DRAM HBM4.
Cet organisme de normalisation a publié la spécification SPHBM4 (Standard Package High Bandwidth Memory, JESD330-4), qui combine des circuits intégrés DRAM HBM4 avec un boîtier standard et une interface rapide à 512 bits étroite. Bien que les interfaces à 1024 bits et 2048 bits utilisées par les mémoires HBM3 et HBM4 offrent des performances inégalées, ces interfaces larges consomment une surface de silicium importante dans le processeur, nécessitant des interposeurs coûteux et des technologies d’encapsulation avancées à capacité limitée (telles que le CoWoS de TSMC) pour être intégrées au processeur principal. La future mémoire SPHBM4 continue d’utiliser les mêmes piles DRAM HBM4 que la JESD270-4, mais remplace la puce de base HBM4 traditionnelle par une nouvelle puce PHY/tampon SPHBM4, caractérisée par une interface plus étroite à 512 bits, permettant son montage sur des substrats organiques standard sans recourir à des méthodes d’encapsulation complexes. Pour compenser l’impact de l’interface plus étroite, le SPHBM4 prend en charge des débits de transfert de données plus élevés, allant de 22,4 GT/s à 46,0 GT/s.
Contrairement au HBM4 qui utilise une interface mémoire à 2048 bits pour se connecter au processeur principal, le SPHBM4 utilise 32 canaux DDR indépendants de 16 bits, organisés en huit quad-canaux. En interne, une pile HBM4 contient 32 canaux mémoire, chacun d’une largeur de 64 bits, pour une largeur totale d’interface externe de 2048 bits. Le SPHBM4 nécessite de « convertir » l’E/S interne de 2048 bits en une interface externe de 512 bits, en regroupant quatre canaux HBM4 en un quad-canal. En conséquence, à l’extérieur, un quad-canal expose 64 broches de données (4 × 16 bits), remplaçant les 256 broches de données (4 × 64 bits) normalement nécessaires pour ces quatre canaux HBM4. Pour maintenir la bande passante, ces 64 broches fonctionnent à un débit de données quatre fois supérieur à celui de l’interface HBM4 d’origine.
Le SPHBM4 augmente considérablement la bande passante d’E/S, mais n’accélère pas la matrice DRAM elle-même. Le cœur de la mémoire HBM4 conserve la même architecture et les mêmes temporisations de base, y compris la fréquence du cœur, l’activation des lignes, la précharge et les opérations de rafraîchissement, bien que le PHY supplémentaire introduise probablement une certaine latence. Par exemple, le cœur DRAM fonctionne seulement au quart de la fréquence de l’interface externe, soit 2 GHz pour un SPHBM4 de catégorie de vitesse 32 GT/s. Le principal changement réside dans la nouvelle puce de base, qui implémente un PHY de type SerDes à haute vitesse, mappant chaque canal externe de 16 bits sur quatre canaux HBM4 traditionnels de 64 bits. Par conséquent, le SPHBM4 introduit l’égalisation, l’entraînement des canaux, des exigences de taux d’erreur binaire (BER) et d’autres caractéristiques de signaux à haute vitesse, inutiles dans l’interface parallèle large et plus lente du HBM4. Pour prendre en charge des débits allant jusqu’à 46,0 GT/s par broche, chaque quad-canal utilise une interface de commande/adresse partagée protégée par un code de correction d’erreur directe (FEC), tandis que le transfert de données repose sur des horloges d’écriture (WCK) et de lecture (RCK) différentielles dédiées, ainsi que sur des signaux ECC et de rapport d’erreur.
En termes de capacité, le SPHBM4 peut utiliser des piles contenant 4, 8, 12 ou 16 puces DRAM, avec des densités de 24 Gb ou 32 Gb. Ainsi, la plus grande configuration SPHBM4 normalisée est une pile mémoire de 64 Go construite avec 16 puces DRAM de 32 Gb, identique à la capacité maximale prise en charge par le HBM4E.
Cette norme prend en charge un pas de bosse supérieur à 90 µm et des canaux d’une longueur maximale de 20 mm, deux caractéristiques qui permettent de supprimer l’interposeur coûteux et d’utiliser un routage sur substrat organique moins cher. Cependant, se passer de l’interposeur et de l’encapsulation CoWoS (ou similaire) ne rend pas automatiquement le SPHBM4 bon marché. Le SPHBM4 nécessite toujours un grand nombre de circuits intégrés DRAM HBM4, un boîtier 2,5D, une puce de base complexe (potentiellement plus coûteuse que celle utilisée dans le HBM4 traditionnel), ainsi qu’un assemblage avancé avec des traversées de silicium (TSV). De plus, l’interface étroite du SPHBM4 consomme considérablement moins de périmètre de puce et de surface de silicium à l’intérieur du processeur, ce qui est plus attractif pour les entreprises cherchant à intégrer davantage de puissance de calcul et/ou plus de piles mémoire autour du processeur.
En termes de performances maximales, le HBM4 transfère les données à 8 GT/s (bien que la plupart des contrôleurs et puces prennent en charge des débits plus élevés), offrant ainsi une bande passante de 2 To/s par pile. Le HBM4E augmente le débit de transfert de données à 12–12,8 GT/s, portant la bande passante maximale par pile à 3–3,3 To/s. En comparaison, un SPHBM4 avec une interface à 46 GT/s peut atteindre 2,944 To/s, mais il ne faut pas s’attendre à ce que les versions initiales du SPHBM4 atteignent la vitesse maximale. Par conséquent, dans un avenir prévisible, le HBM4, le HBM4E et le C-HBM4E conserveront probablement une avance de performance en bande passante sur le SPHBM4.
La latence du HBM4 pourrait également rester meilleure que celle du SPHBM4. Le HBM4 se connecte pratiquement directement au processeur principal via une interface très simple. En revanche, le SPHBM4 insère un PHY plus complexe qui effectue la sérialisation/désérialisation, l’entraînement des canaux, le traitement FEC et d’autres opérations pouvant ajouter quelques nanosecondes de latence. Cela peut ne pas être un problème majeur pour certaines applications, mais les tâches d’inférence bénéficient grandement d’une faible latence. En ce qui concerne la consommation d’énergie et la tension, le HBM4 et le SPHBM4 partagent la même tension de cœur DRAM, car le SPHBM4 réutilise les piles DRAM HBM4 standard. Cependant, les E/S diffèrent : le HBM4 laisse la tension d’interface à la discrétion du fournisseur de mémoire et permet une implémentation à 0,7 V, 0,75 V, 0,8 V ou 0,9 V, en fonction de l’équilibre souhaité entre puissance, vitesse et intégrité du signal. En comparaison, la norme SPHBM4 normalise les E/S externes à 0,75 V. De plus, le HBM4 transmet les données via une interface très large comprenant de nombreuses liaisons parallèles lentes, qui sont généralement très économes en énergie. En revanche, le SPHBM4 transmet la même quantité de données via un quart des fils, fonctionnant environ quatre fois plus vite. Les transferts de données à haute vitesse sont généralement moins économes en énergie que les transferts « lents » sur une interface large. Compte tenu du PHY assez complexe du SPHBM4 qui convertit l’interface large en interface étroite, il s’agit probablement d’un processus gourmand en énergie. Néanmoins, la réduction par quatre du nombre de pilotes et de récepteurs pourrait effectivement réduire la consommation d’énergie du SPHBM4.
Essentiellement, le SPHBM4 transforme les défis de fabrication liés à l’utilisation d’un interposeur en silicium en défis d’ingénierie pour le développement d’une puce de base/PHY extrêmement complexe. Le développement et la fabrication d’une telle puce de base ne devraient pas poser de problème pour les fonderies. Cependant, il reste à voir si les fabricants de DRAM pourront concevoir et produire un SPHBM4 avec une bonne efficacité énergétique. Après tout, Micron et SK hynix collaborent avec TSMC pour fabriquer les puces de base C-HBM4E et HBM4E, tandis que la division mémoire de Samsung utilise des puces de base produites par Samsung Foundry.
Un aspect intéressant du SPHBM4 est de savoir si les développeurs chinois d’accélérateurs IA pourront bénéficier de cette technologie. En théorie, des entreprises comme Biren, Huawei, Moore Threads et d’autres développeurs chinois figurant sur la liste noire et ne pouvant pas utiliser les services de fabrication ou d’encapsulation de puces de TSMC pourraient devenir parmi les plus grands bénéficiaires du SPHBM4, peut-être même plus que les entreprises américaines. Premièrement, le périmètre d’interface de puce (shoreline) plus court profite directement aux puces fabriquées avec des procédés moins avancés, car il permet d’intégrer davantage de puissance de calcul sans sacrifier la bande passante ou la capacité mémoire. Deuxièmement, les sous-traitants d’assemblage et de test (OSAT) chinois ne proposent actuellement pas de technologies similaires au CoWoS, donc supprimer l’interposeur et utiliser des substrats organiques avancés constitue un avantage. Cependant, le SPHBM4 nécessite toujours des piles DRAM HBM4, que seuls Samsung, SK hynix et Micron peuvent actuellement produire, tandis que CXMT en Chine ne peut guère produire que du HBM2E. De plus, construire un PHY à 46 GT/s est très difficile et pourrait représenter un défi pour les développeurs de circuits intégrés chinois. Néanmoins, l’assemblage de boîtiers SPHBM4 sur des substrats organiques est probablement plus adapté à la base de fabrication existante de la Chine. Si les fabricants locaux de DRAM parviennent finalement à développer une mémoire compétitive de niveau HBM4, le SPHBM4 pourrait considérablement réduire l’écart d’infrastructure restant dans le pays.
Le SPHBM4 de la JEDEC semble être une norme prometteuse qui, grâce à des coûts d’intégration plus faibles, pourrait couvrir un éventail d’applications plus large que le HBM4 lui-même. Néanmoins, le HBM4, le HBM4E et le C-HBM4E conserveront une avance de performance, ce qui en fera le choix privilégié pour les accélérateurs IA phares dans les années à venir.
