fr.wedoany.com Rapport : Qualcomm a récemment indiqué dans son blog technique que la clé de l’amélioration des performances de l’IA au cours de la prochaine décennie ne résidera plus dans la vitesse des processeurs, mais dans une transformation structurelle de l’architecture de calcul. L’article souligne qu’avec les grands modèles génératifs devenant les charges de travail dominantes, le goulot d’étranglement des performances des systèmes d’intelligence artificielle est passé de la vitesse de calcul à l’efficacité du transfert de données, une tendance appelée le problème du « mur de la mémoire ».
Selon l’article, le processus d’inférence de l’IA moderne dépend fortement de la mémoire. La génération de chaque nouveau jeton nécessite la lecture d’un grand nombre de paramètres de modèle et d’informations contextuelles depuis la mémoire. Le véritable défi réside dans la capacité à fournir ces données à une vitesse suffisante, et non dans le calcul lui-même. On estime qu’au cours des dix dernières années, la taille des modèles Transformer a été multipliée par 240 tous les deux ans, tandis que la capacité mémoire du matériel IA n’a été multipliée que par deux, ce qui fait que les processeurs passent une grande partie de leur temps à attendre les données.
L’architecture traditionnelle HBM (mémoire à large bande passante) associée à un XPU améliore la bande passante en élargissant les canaux entre la mémoire et le processeur, mais cette approche se heurte à des limites physiques et économiques. Les rendements décroissants des interfaces, les coûts énergétiques et temporels liés à la distance de transfert des données, ainsi que le prix élevé de l’encapsulation avancée, rendent la voie traditionnelle de plus en plus contrainte. L’article souligne que l’énergie consommée pour transférer les opérandes à travers les frontières des puces peut dépasser celle nécessaire aux opérations arithmétiques effectuées après l’arrivée des données.
Pour résoudre ce problème, Qualcomm propose le concept de « calcul en mémoire » (Near-Memory Computing) et nomme sa solution technique « calcul à large bande passante » (HBC). Cette approche place les unités de calcul directement à proximité de la mémoire, permettant aux opérations intensives en données de s’exécuter là où se trouvent les données. Le processeur principal, comme l’accélérateur IA Qualcomm Dragonfly, continue de gérer les tâches complexes et flexibles, tandis que le HBC traite spécifiquement les opérations limitées par le déplacement des données. L’article estime que la maturité des technologies d’intégration 3D, en particulier la capacité de lier directement la DRAM aux circuits logiques, a déjà fourni une base commerciale à cette solution.
Les produits de la série Dragonfly basés sur ce concept ont déjà montré des améliorations significatives des performances. Les données indiquent que le Dragonfly AI250, utilisant la première génération de technologie HBC de Qualcomm, offre une bande passante mémoire effective 18 fois supérieure à celle du Dragonfly AI200 utilisant la LPDDR5X. Quant au Dragonfly AI300, utilisant la deuxième génération de technologie HBC de Qualcomm, sa bande passante mémoire effective est 54 fois supérieure à celle du Dragonfly AI200.
L’article indique que le calcul en mémoire a des impacts multiples sur l’industrie. Les indicateurs d’évaluation des performances vont changer : les acheteurs privilégieront l’évaluation des plateformes en fonction de leurs performances réelles sous des charges de travail intensives en mémoire, ainsi que de leurs performances par watt et par dollar, plutôt que du débit théorique de pointe. Avec l’augmentation de l’échelle de déploiement, l’énergie devient le principal coût opérationnel et goulot d’étranglement physique ; les architectures capables de minimiser le transfert de données bénéficieront d’un avantage structurel. De plus, le rôle de la mémoire passera d’un support de stockage passif à un participant actif du calcul, un changement qui affectera tous les niveaux, de la conception des puces à l’économie des centres de données.
Qualcomm estime qu’à l’ère de l’intelligence artificielle, la ressource rare n’est plus la puissance de calcul, mais la capacité à acheminer les données là où elles sont nécessaires, de manière rapide et économique. La clé de la conception des systèmes réside dans la capacité à limiter intelligemment le transfert de données, plutôt que de simplement rechercher la vitesse d’exécution des processeurs.
