fr.wedoany.com Rapport : Le 15 juillet, Xiaomi a officiellement lancé son modèle de base autorégressif Xiaomi-Robotics-U0, doté de 38 milliards de paramètres. Il s'agit du premier modèle génératif incarné unifié combinant un modèle de base de génération d'images avec une modélisation du monde incarné. Il se classe premier dans la génération de vidéos incarnées sur World Arena et améliore en moyenne de plus de 26 % la progression des tâches lors d'évaluations réelles très exigeantes.
Contrairement aux modèles de monde incarné traditionnels qui s'entraînent uniquement sur des trajectoires robotiques, Xiaomi-Robotics-U0 unifie au sein d'un seul cadre autorégressif la génération de scènes incarnées multi-vues, le transfert incarné, la génération de vidéos d'interaction robotique, la génération d'images à partir de texte et l'édition d'images. Ce modèle considère la génération incarnée comme une extension de la génération d'images et de vidéos de base, et peut directement produire des données d'observation robotique multi-vues conformes aux lois physiques à partir d'instructions linguistiques.
En matière de génération de scènes incarnées, le modèle prend en charge la génération multi-perspectives. Pour le transfert incarné, Xiaomi-Robotics-U0 peut transférer une scène existante vers une nouvelle scène tout en conservant le comportement d'interaction robotique, réalisant une expansion exponentielle des scènes en découplant des dimensions telles que l'espace de travail, l'arrière-plan et l'éclairage. Pour la génération de vidéos d'interaction robotique, le modèle prédit le processus d'interaction futur à partir d'observations initiales et d'instructions opérationnelles, prenant en charge le défilement de scènes et la prédiction multi-perspectives, avec une capacité de généralisation zero-shot.
En ce qui concerne la génération d'images à partir de texte et l'édition d'images, Xiaomi-Robotics-U0 conserve également ces capacités, permettant une synthèse visuelle haute fidélité inter-scènes, inter-objets et inter-styles, et prenant en charge l'édition guidée par instructions tout en maintenant la structure inchangée lors d'un changement d'intention.
Lors d'évaluations humaines, Xiaomi-Robotics-U0 a surpassé GPT-Image-2.0 en matière de génération de scènes incarnées et de transfert incarné. Dans les tâches d'opérations fines, de manipulation d'objets déformables et de tâches à longue portée, l'utilisation de données augmentées par ce modèle pour l'entraînement des stratégies a permis d'améliorer la progression des tâches de 26,3 % en moyenne, même sous des éclairages inconnus et des arrière-plans perturbateurs. Comparé à GPT-Image-2, Xiaomi-Robotics-U0 présente des avantages significatifs en termes de cohérence multi-vues, de contrôlabilité fine et de robustesse au transfert, évitant efficacement les problèmes de désalignement d'objets inter-vues et de distorsion spatiale.
Sur le benchmark World Arena, développé conjointement par l'Université Tsinghua, l'Université de Pékin et d'autres institutions, Xiaomi-Robotics-U0 s'est classé premier parmi plus de 100 modèles, obtenant les meilleurs scores en matière de contrôlabilité, de suivi d'instructions et de qualité d'interaction.
Xiaomi a également introduit le schéma d'accélération inférentielle FlashAR+, qui combine un post-traitement léger et la technologie vLLM, avec un décodage diagonal parallèle et une planification par lots du cache de clés-valeurs paginé. Cela réduit le temps de génération d'un échantillon en résolution 1024x1024 de 450,77 secondes à 5,44 secondes, multipliant l'efficacité par 82,9.
Lors du déploiement réel dans l'usine automobile de Xiaomi, les robots Xiaomi ont déjà exécuté des tâches sur le poste de vissage des écrous auto-taraudeurs, atteignant un taux de réussite de 98 % pour les opérations bilatérales, et un taux de réussite de 90 % pour le tri des panneaux latéraux de la console centrale et le pliage et la récupération des bacs.
La percée clé de Xiaomi-Robotics-U0 réside dans le transfert des connaissances visuelles à l'échelle d'Internet vers des scènes incarnées, modifiant ainsi l'approche traditionnelle qui ne se basait que sur les données de trajectoire robotique pour le réglage fin. Cela ouvre une nouvelle direction technologique pour la construction de moteurs de données évolutifs pour les systèmes intelligents incarnés.
