Longsys fait fonctionner un modèle de 397B sur la plateforme AMD Ryzen AI
fr.wedoany.com Rapport : AMD a récemment lancé sa plateforme Ryzen AI Halo sur le marché au prix de 4 000 dollars, suscitant des discussions comparatives avec le produit DGX Spark, légèrement plus cher, de Nvidia. L'entreprise de stockage et de mémoire Longsys est allée plus loin en démontrant l'exécution locale d'un modèle d'IA de 397 milliards de paramètres sur cette plateforme. Cette démonstration utilise un processeur Ryzen AI Max+ 395 à 16 cœurs avec 128 Go de mémoire, et grâce à sa technologie SPU propriétaire et à la configuration iSA, elle compresse les données en temps réel, permettant à l'appareil de faire fonctionner un modèle nécessitant généralement 200 à 250 Go de mémoire vidéo avec seulement 128 Go de mémoire unifiée (dont 96 Go de mémoire GPU disponible).

Ce modèle serait une version personnalisée dérivée du Qwen 3.5 397B (A17B) d'Alibaba, utilisant une approche de mixture d'experts (MoE). Même avec une quantification INT4, ses besoins en mémoire dépassent largement la mémoire disponible de l'appareil de démonstration. Longsys indique que sa méthode utilise le déchargement des experts, la gestion intelligente du cache et des algorithmes de préchargement prédictif pour décharger les experts inactifs de la DRAM vers un grand tampon de stockage rapide, permettant à la puce IA de les recharger en cas de besoin. Cette approche vise à résoudre les problèmes liés au nombre élevé de paramètres des grands modèles de langage MoE, à l'expansion rapide du cache KV et à la latence des E/S. L'entreprise affirme qu'en utilisant la couche de cache pour réduire les besoins en DRAM, elle peut contenir deux fois plus de données dans des disques de stockage allant jusqu'à 128 Go. Il est à noter que Longsys n'a pas fourni de détails sur la puissance de calcul mesurée en tokens par seconde, la puce Ryzen AI étant relativement limitée à cet égard par rapport à la plupart des produits GPU IA modernes. Néanmoins, cette approche consistant à considérer le stockage comme de la mémoire montre qu'en utilisant un stockage rapide, il est possible de contourner les limitations de mémoire, permettant ainsi de faire fonctionner des modèles de pointe nécessitant du matériel IA coûteux sur un appareil de la taille d'une paume.
Texte compilé par Wedoany. Toute citation par IA doit mentionner la source « Wedoany ». En cas de contrefaçon ou d'autre problème, veuillez nous en informer rapidement ; nous modifierons ou supprimerons le contenu le cas échéant. Courriel : news@wedoany.comProduits Associés



25 Système de contrôle électro-hydraulique pour supports hydrauliques SAC
Beijing Tianma Intelligent Control Technology Co., Ltd.
Radar de profil de vent troposphérique TWP16 en bande P
China Huayun Meteorological Technology Group Co., Ltd.
Système de supervision intelligente en boucle fermée pour la sécurité du transport routier
Beijing Bower Logistics Co., Ltd.
Système de gestion du cycle de vie des équipements
AURY (TIANJIN) INDUSTRY GROUP CO., LTD.
Codeur magnétique à anneau incrémental de type 202
Shanghai Complee Instrument Co., Ltd.

Solution SIS pour l’instrumentation de sécurité
Beijing Consen Automation Technology Co., Ltd.
Calibrateur de pression automatique intelligent ConST811A
Beijing ConST Instruments Technology Inc.
