fr.wedoany.com Rapport : Le 13 juillet, le fournisseur chinois de production de Tokens IA, Qujing Technology, a annoncé un nouveau cycle de construction d'infrastructures, visant à accroître ses réserves de capacité de production de Tokens, à mettre à niveau sa plateforme ATaaS de production de Tokens IA haute performance, et à construire des usines de Tokens IA destinées aux grands modèles, aux plateformes Internet et aux écosystèmes industriels régionaux. Le projet élargira également l'intégration de la puissance de calcul hétérogène nationale, permettant à des puces de différentes architectures d'entrer dans des scénarios de production clés tels que l'inférence de grands modèles, l'exécution d'agents et les services de génération d'entreprise.
Les usines de Tokens IA ne se limitent pas à augmenter le nombre de serveurs ; elles transforment les puces, la mémoire, le stockage, le réseau, les moteurs d'inférence et les systèmes d'ordonnancement en une chaîne de production continue. Lorsqu'un utilisateur soumet une tâche de modèle, le système doit effectuer la classification des requêtes, le chargement du modèle, l'allocation des ressources de calcul, le prétraitement des invites, la génération du premier Token, le décodage continu des Tokens suivants et le retour des résultats. Tout goulot d'étranglement dans l'une de ces étapes, qu'il s'agisse d'attente de ressources, d'invalidation de cache ou de congestion de communication, affecte directement la latence du premier Token, le débit de Tokens par seconde et la capacité de concurrence. L'objectif principal de cette expansion de Qujing Technology est de garantir que la nouvelle puissance de calcul se transforme de manière stable en capacité de production de Tokens livrables, plutôt que de créer un pool de ressources de calcul doté uniquement d'une échelle matérielle, mais manquant d'efficacité d'inférence.
La plateforme ATaaS continuera d'assurer l'ordonnancement des ressources entre les différents dispositifs de calcul. Elle peut décomposer les tâches d'inférence de grands modèles en composants matériels tels que les GPU, CPU, mémoire et SSD, évitant ainsi que tous les calculs ne soient concentrés sur un seul type de carte accélératrice. Face à un cluster combinant des puces nationales et non nationales, elle doit également identifier la puissance de calcul, la mémoire vidéo, la bande passante et les capacités d'adaptation logicielle de chaque dispositif, avant de décider sur quel type de dispositif exécuter les couches du modèle, les opérateurs ou les requêtes.
Cette mise en production de la puissance de calcul hétérogène nationale implique également une gestion unifiée des logiciels d'inférence sous-jacents. Différentes puces utilisent généralement des architectures de calcul, des bibliothèques d'opérateurs, des pilotes et des composants de communication distincts ; un même modèle ne peut pas être simplement copié sur tous les dispositifs pour y fonctionner. ATaaS doit adapter le format de quantification, la compatibilité des opérateurs, la méthode d'allocation de la mémoire vidéo et la stratégie de communication entre nœuds avant que le modèle n'entre en environnement de production, et répartir les tâches entre les différents matériels en fonction des besoins réels. Les requêtes de questions-réponses courtes, le traitement de longs contextes, la génération de code, la sortie de données structurées et les appels d'outils d'agents ont des exigences différentes en matière de calcul et de stockage ; le système doit sélectionner dynamiquement les dispositifs en fonction de la charge de travail, sans utiliser une configuration fixe à long terme.
L'inférence de grands modèles se divise généralement en deux phases : le préremplissage et le décodage. La phase de préremplissage nécessite un traitement intensif du contexte saisi par l'utilisateur, avec une densité de calcul élevée ; la phase de décodage génère les Tokens un par un, exigeant une vitesse d'accès mémoire, une capacité de cache et une capacité d'ordonnancement continu plus élevées. Qujing Technology adopte une approche de collaboration calcul-stockage pour gérer le KV Cache, en stockant les états intermédiaires du contexte déjà calculé dans la mémoire ou le système de stockage. Lorsque plusieurs requêtes partagent des invites système, des contenus de base de connaissances ou des historiques de dialogue identiques ou similaires, le système peut lire directement le cache, réduisant ainsi les calculs redondants du modèle. Les technologies précédemment divulguées par la plateforme incluent également le partage de cache entre clusters, l'isolation des chaînes d'inférence, l'élasticité de mise à l'échelle et la surveillance de la qualité, pour gérer la réutilisation du cache, la contention des ressources et les fluctuations de service dans les tâches à forte concurrence.
Les nouvelles usines de Tokens IA seront respectivement dédiées à différents types de charges de production. Les grands modèles nécessitent l'exploitation à long terme de clusters d'inférence à grande échelle, avec des exigences élevées en matière de concurrence, de vitesse de retour du premier Token et de stabilité de sortie ; les requêtes des plateformes Internet présentent des variations marquées de charge de pointe et creuse, nécessitant une capacité d'ajout ou de libération rapide des nœuds de calcul ; les écosystèmes industriels régionaux peuvent simultanément intégrer des tâches gouvernementales, manufacturières, financières, médicales et de bureau d'entreprise, chaque activité nécessitant des modèles, des droits d'accès aux données et des paramètres de qualité de service indépendants. ATaaS convertit ces besoins en configurations de puissance de calcul sous-jacentes et contrôle l'utilisation des ressources via la mise en file d'attente des tâches, l'ordonnancement des instances de modèles et l'élasticité de mise à l'échelle des nœuds.
La plateforme ATaaS précédemment dévoilée par Qujing Technology a déjà atteint une capacité de traitement de près d'un billion de Tokens par jour, pouvant prendre en charge des dizaines de milliers de besoins d'inférence en intelligence artificielle. La plateforme adopte un mode de fonctionnement « peu de modèles, optimisation approfondie », concentrant les ressources sur un petit nombre de modèles de production, et effectuant des optimisations spécifiques autour de la latence du premier Token, du débit de Tokens par seconde, de la sortie structurée et de la stabilité des appels de fonctions. Actuellement, ses services d'inférence sont utilisés pour des modèles tels que GLM de Zhipu AI et Kimi de Moonshot AI en Chine.
Les fonds nécessaires à cette construction proviennent du nouveau tour de financement de série A de Qujing Technology. En six mois, le montant total des financements cumulés de l'entreprise a dépassé 1 milliard de yuans. Ce tour est mené par le Fonds Huirong du Henan Investment Group en Chine, avec la participation continue des actionnaires existants, notamment Zhenzhi Capital, Shangshi Capital, Xinglian Capital, Guofang Innovation de Shanghai, Honghui Fund, Huakong Fund et Fucheng de Hangzhou en Chine. Le montant du financement, les proportions d'investissement de chaque institution et la dernière valorisation de l'entreprise n'ont pas été divulgués, mais l'utilisation des fonds a été clairement définie : réserves de puissance de calcul, mise à niveau de la plateforme ATaaS et construction d'usines de Tokens IA.
Au cours de l'expansion, la quantité de puissance de calcul n'est pas le seul indicateur de capacité. La production de Tokens IA nécessite également une surveillance continue de la latence du premier Token, de la vitesse de décodage, du nombre de requêtes concurrentes, du taux d'utilisation du matériel, du taux de succès du cache, du taux d'échec des tâches et du taux de succès de la sortie structurée, ainsi qu'un ajustement des stratégies d'ordonnancement en fonction des versions de modèles et des charges de travail. Si un cluster de calcul se contente d'ajouter des cartes accélératrices sans étendre simultanément les interconnexions haute vitesse, la mémoire, le stockage et les logiciels d'inférence, le nouveau matériel peut devenir inactif en raison de l'attente de communication ou du transfert de données. Cette construction de Qujing Technology intègre la puissance de calcul hétérogène nationale et la plateforme ATaaS dans un même système de production, visant à faire en sorte que plusieurs types de puces partagent les tâches d'inférence et à convertir les ressources de calcul dispersées en une capacité de production de Tokens mesurable et ordonnançable.
Actuellement, Qujing Technology n'a pas encore divulgué l'échelle de la nouvelle puissance de calcul, les modèles de puces, le nombre d'usines de Tokens IA, l'emplacement du projet ni la date de la première mise en production. Les éléments de construction déjà confirmés comprennent l'expansion des réserves de capacité, la mise à niveau du système d'inférence sous-jacent, l'augmentation de la charge de production de la puissance de calcul hétérogène nationale, et la construction de capacités de production de Tokens dédiées pour les grands modèles, les plateformes Internet et les projets régionaux.
