fr.wedoany.com Rapport : L'Institut de recherche en IA de Fibocom a réalisé des avancées clés dans le domaine de l'intelligence incarnée. Son cadre FiboVLA développé en interne et ses technologies d'optimisation de l'inférence en périphérie permettent d'accélérer en moyenne de 2,6 fois la vitesse d'inférence de plusieurs modèles VLA grand public, et ont achevé le déploiement de GR00T N1.5 sur une plateforme de contrôle principale à haute puissance de calcul en périphérie. Les résultats ont été validés via l'ensemble de données de référence de simulation LIBERO et un environnement réel de robot à deux bras sur table, fournissant un support technique pour le fonctionnement efficace des modèles d'intelligence incarnée sur les robots en périphérie.
Le modèle VLA (Vision-Langage-Action) est une technologie clé de l'intelligence incarnée. Il intègre les entrées visuelles, les instructions linguistiques et la génération d'actions, permettant au robot de produire des actions en fonction de l'environnement et des instructions de tâche. Avec l'augmentation massive de la taille des paramètres des modèles VLA, l'inférence en temps réel sur les robots en périphérie rencontre des goulots d'étranglement. La vitesse d'inférence affecte directement la réactivité des actions, l'enchaînement des tâches et la fluidité du fonctionnement du robot. De plus, les robots sont également soumis à de multiples contraintes telles que la puissance de calcul, la consommation d'énergie, la dissipation thermique et les ressources système. Comment faire fonctionner de manière stable et efficace des modèles VLA complexes sur un contrôleur principal à haute puissance de calcul en périphérie est devenu un enjeu clé dans le déploiement de l'intelligence incarnée.
Pour résoudre le problème de la charge élevée d'inférence en périphérie des modèles VLA, l'Institut de recherche en IA de Fibocom a adopté le cadre de compression auto-développé FiboVLA, en effectuant une optimisation au niveau des tokens à partir de la couche sémantique du modèle. Dans le processus d'inférence VLA, les informations visuelles et linguistiques présentent une grande quantité de représentations redondantes. FiboVLA, grâce à un filtrage et une compression précis des tokens visuels, élimine les informations de faible valeur et conserve le contenu clé fortement lié à la compréhension des tâches, au jugement de l'environnement et à la génération d'actions. Ce cadre réduit les calculs inutiles pendant l'inférence et diminue considérablement la charge de calcul tout en maintenant la précision de décision du modèle, sa capacité de compréhension intermodale et sa capacité de génération d'actions. Parallèlement, l'équipe a combiné l'ordonnancement des chaînes d'inférence et l'optimisation du moteur d'inférence en périphérie pour améliorer encore l'efficacité de fonctionnement du modèle sur les robots en périphérie. Il a été vérifié que ce cadre ne dépend pas d'une architecture de modèle spécifique et a été validé sur plusieurs modèles VLA grand public de pointe, avec un débit d'inférence multiplié par 2,6 et une latence de bout en bout efficacement réduite.
Sur la base du cadre FiboVLA et des technologies d'optimisation de l'inférence en périphérie, l'Institut de recherche en IA de Fibocom a réussi à déployer GR00T N1.5 sur une plateforme de contrôle principale à haute puissance de calcul en périphérie et a achevé la validation de son fonctionnement. Dans l'ensemble de données de référence de simulation LIBERO, ce cadre garantit l'efficacité des tâches après l'accélération de l'inférence ; dans un environnement physique réel, la validation du fonctionnement réel de GR00T N1.5 a également été achevée dans un scénario de robot à deux bras sur table. Cela signifie que le robot peut effectuer plus rapidement la perception, la prise de décision et la génération d'actions en périphérie, formant ainsi une boucle d'inférence à faible latence et continue. Il ne s'agit pas seulement d'une amélioration de la vitesse du modèle, mais aussi d'une validation technique complète sur une plateforme robotique réelle.
L'application réussie du cadre FiboVLA a consolidé les compétences clés de l'Institut de recherche en IA de Fibocom dans les domaines de l'IA en périphérie et de l'intelligence incarnée, notamment la compression de modèles, l'optimisation des moteurs d'inférence, la validation des plateformes robotiques et les capacités de coordination des systèmes. Face à la tendance industrielle du développement accéléré de l'intelligence incarnée, Fibocom continuera à combiner les communications sans fil, la puissance de calcul en périphérie, la chaîne d'outils IA et les capacités de la plateforme Fibot pour aider les robots et divers terminaux intelligents à obtenir une intelligence locale plus efficace et plus stable, fournissant ainsi une base technique pour l'entrée de l'intelligence incarnée dans le fonctionnement des systèmes réels.
