fr.wedoany.com Rapport : VIDRAFT a récemment annoncé la publication du classement des performances du moteur d'accélération d'inférence pour grands modèles de langage VKAE, ainsi que le déploiement d'un conteneur Docker intégrant les poids du modèle et l'environnement de service. Ce moteur, nommé VIDRAFT Kernel Acceleration Engine, est un outil d'accélération au niveau du noyau.
Dans les mêmes conditions de GPU et de configuration, VKAE offre un débit d'inférence jusqu'à 23,4 fois supérieur à celui d'un service standard. Ce moteur améliore le débit et la vitesse de réponse tout en maintenant la qualité de la sortie. Les utilisateurs peuvent exécuter le conteneur public pour vérifier directement les performances dans leur propre environnement GPU. VKAE prend également en charge l'API compatible OpenAI, permettant une connexion aux services existants.
Selon les mesures effectuées par VIDRAFT, sur un GPU NVIDIA B200 en environnement FP8, le modèle représentatif Qwen3.5-35B-A3B génère jusqu'à 601 tokens par seconde en flux unique. En traitement multi-requêtes, le débit dépasse 10 000 tokens par seconde. Le modèle à très grande échelle JGOS-398B a également bénéficié de la même série de techniques d'optimisation. La mise en œuvre interne du noyau est un secret commercial non divulgué, mais elle peut être vérifiée en externe via le classement et le conteneur unifié.
VIDRAFT souligne quatre points importants de cette publication : la vérifiabilité permettant aux utilisateurs de reproduire directement les données ; la réduction des coûts de service grâce à l'augmentation du débit ; le maintien de la qualité lors de l'amélioration de la vitesse ; et l'intégration immédiate via l'API compatible OpenAI. VKAE prend principalement en charge les séries de GPU NVIDIA Blackwell (B200) et Hopper (H100, H200), et étend actuellement sa compatibilité à des modèles tels que l'A10G small.
VIDRAFT avait déjà publié FINAL Bench pour mesurer la métacognition de l'IA, MARL, un middleware d'exécution réduisant les hallucinations, ainsi que les séries de modèles Darwin, Chimera et Aether, accumulant ainsi des capacités d'IA de bout en bout, du développement de modèles à l'optimisation des services. Kim Min-sik, représentant de VIDRAFT, a déclaré qu'une compétition de vitesse non reproductible est dénuée de sens, et que l'essence de VKAE est de permettre aux utilisateurs de vérifier directement les performances avec leur propre matériel.
VIDRAFT est une start-up fondée en 2024, installée au Seoul AI Hub, visant à atteindre la True-AGI d'ici 2030. L'entreprise développe actuellement un LLM dédié au coréen, un modèle de raisonnement scientifique et une infrastructure d'accélération d'inférence, tout en poursuivant son expansion sur le marché mondial.
