fr.wedoany.com Rapport : SuanMiao Technology a annoncé que sa puce 3D TokenPU A4E, destinée à l'inférence de grands modèles, a été mise en fabrication le 15 juin. Cette puce repose sur une chaîne d'approvisionnement nationale et adopte une architecture d'empilement hybride 3D, visant à fournir un soutien informatique autonome et contrôlable pour l'industrie des grands modèles. Deloitte prévoit que plus de 80 % des besoins en puissance de calcul seront concentrés sur le côté inférence.

L'inférence des grands modèles a longtemps été entravée par le transfert fréquent de données entre la mémoire et le processeur, entraînant jusqu'à 80 % de la consommation d'énergie et 70 % des coûts. L'architecture 3D TokenPU de SuanMiao Technology empile verticalement 8 couches de wafers de mémoire sur un wafer logique de calcul, réalisant une interconnexion à l'échelle micrométrique via les technologies de traversée de silicium (TSV) et de bosses (bump), réduisant ainsi la distance de transmission traditionnelle de l'ordre du millimètre de deux ordres de grandeur, et offrant une bande passante d'accès mémoire de 16 To/s. La puce intègre le concept de collaboration logicielle-matérielle Tile-Native, faisant du Tile l'unité de base pour le transfert, le stockage et le calcul des données, réalisant un modèle de transfert unique et de réutilisation multiple. Le matériel prend en charge nativement la planification des données au niveau Tile et la commutation dynamique multi-précision, tandis que le logiciel construit une pile d'outils de compilation adaptée aux écosystèmes open source tels que LLVM et Triton.

Le Dr. Wang Fuquan, fondateur et PDG de SuanMiao Technology, a déclaré que le 3D TokenPU est spécialement conçu pour le traitement des tokens des grands modèles, permettant d'améliorer la densité de calcul et le rapport efficacité énergétique sans dépendre uniquement de la réduction des processus.

SuanMiao Technology a déjà établi un système de chaîne d'approvisionnement nationalisé couvrant la conception de puces, les IP de base, la fabrication et l'encapsulation. La puce A4E est développée sur la base de l'architecture RISC-V auto-développée, des IP auto-développées et du logiciel auto-développé, en collaboration avec des partenaires nationaux de la chaîne d'approvisionnement, utilisant des processus nationaux matures. Les membres clés de l'équipe ont réalisé la production en série de wafers d'empilement hybride 3D à l'échelle de 10 000 pièces dans des projets de puces intégrées à haute capacité de calcul et mémoire. Plus de 80 % du personnel de l'entreprise est dédié à la R&D, et les principaux cadres sont issus d'institutions telles que l'Académie des Sciences de Chine, l'Université Tsinghua et l'Université de Pékin.

Le 3D TokenPU est destiné aux principaux fabricants de grands modèles. L'entreprise a déjà mené près d'un an de développement approfondi avec ses clients, en ciblant les besoins en inférence dès la phase de définition de la puce, et en optimisant l'architecture et les algorithmes sous-jacents. L'entreprise a obtenu plusieurs tours de financement de plateformes d'État, de fonds de marché et de capitaux industriels, avec des investisseurs incluant CDB Capital, Beijing Shunxi, Source Code Capital, Shixi Capital, Lenovo Capital, Xianghe Capital, etc.