fr.wedoany.com Rapport : L’équipe de Yang Shuo de l’Université de technologie de Harbin (Shenzhen) a publié TouchWorld, un modèle du monde tactile conçu pour permettre aux robots, lors de manipulations dextres, non seulement de prédire les changements visuels, mais aussi de prédire et d’utiliser les retours tactiles pour corriger leurs actions. La publication de TouchWorld marque une nouvelle étape dans la feuille de route technologique de l’équipe autour du toucher. Auparavant, l’équipe avait déjà lancé EgoTouch, qui résout le problème de la collecte de données tactiles, et TouchAnything, qui permet de reconstituer des informations tactiles à partir de vidéos à la première personne. Ces trois travaux forment une chaîne complète allant de la collecte de données, à l’augmentation des données, jusqu’à l’application du modèle.
Yang Shuo est actuellement professeur titulaire et directeur de thèse à la Faculté d’informatique et de technologie de l’Université de technologie de Harbin (Shenzhen), et également fondateur et PDG de PHANES AI. L’objectif de PHANES AI est de fusionner les données vidéo humaines avec les modalités de perception tactile pour construire un modèle du monde de manipulation dextre mobile pour le corps entier des robots humanoïdes, et de mettre en place une chaîne de capacités complète allant des données, au modèle, jusqu’au contrôle. L’entreprise estime qu’avant que les robots n’entrent dans des scénarios d’opération réels, les données tactiles, les modèles du monde tactile et le contrôle par retour tactile des mains dextres sont encore à un stade technologiquement immature, et espère connecter ces capacités en commençant par les données tactiles.
Du point de vue de la recherche, l’une des questions centrales de l’équipe de Yang Shuo est la source des données d’apprentissage des robots. Dans le domaine de l’IA incarnée, les données d’opérations continues des humains dans le monde réel deviennent une entrée importante pour l’apprentissage des robots. Des travaux comme NVIDIA EgoScale et Generalist/Gen-1 montrent qu’un pré-entraînement sur de grandes quantités de données humaines, combiné à un post-entraînement sur une petite quantité de données réelles de robots, peut améliorer le taux de réussite des robots dans des tâches longues et complexes. Cependant, l’équipe souligne que cette approche manque d’informations tactiles. Les vidéos à la première personne permettent au robot d’observer comment l’humain opère, mais ne fournissent pas d’informations clés telles que la pression des doigts, le glissement d’un objet ou la stabilité du contact. PHANES AI estime que le robot doit comprendre ce qui se produit lors du contact entre la main et l’objet, ce qui est la raison du développement de la série de travaux EgoTouch, TouchAnything et TouchWorld.
Les fonctions principales de TouchWorld sont divisées en deux parties : prédictive et réactive. La partie prédictive signifie que le robot doit non seulement prédire les images futures, mais aussi l’état de contact qui devrait se former à l’avenir. Par exemple, dans une tâche consistant à appuyer sur le bouton d’un pulvérisateur, il est difficile de juger si l’appui est suffisant uniquement à partir des images, tandis que la prédiction d’objectifs tactiles permet au robot de déterminer clairement le contact et la pression que les doigts devraient avoir pour accomplir la sous-tâche. La partie réactive fait référence à la correction par retour tactile à haute fréquence. Lors d’opérations réelles, un objet peut glisser ou les doigts peuvent ne pas être suffisamment stables ; le robot doit ajuster rapidement ses actions en fonction des retours tactiles en temps réel, sans attendre une replanification par le modèle de niveau supérieur. Dans la conception de TouchWorld, la fréquence d’inférence du module réactif est 4 fois supérieure à celle du modèle du monde tactile, chaque sortie produisant une correction.
TouchWorld a été testé sur six tâches robotiques réelles : arrosage des plantes, nettoyage de table, branchement d’une prise électrique, insertion d’une tasse, nettoyage d’une casserole et tirage de mouchoirs en papier. Dans un environnement sans perturbation, le taux de réussite moyen a atteint 65,0 % ; dans un scénario avec perturbations artificielles, le taux de réussite moyen était de 57,2 %. Comparé à des méthodes telles que Pi-0.5, FTP-1 et GR00T N1.7, TouchWorld a surpassé le modèle de référence le plus performant parmi les méthodes comparées de 15,7 et 16,0 points de pourcentage respectivement dans les deux configurations. Ces résultats confirment que, lorsque la tâche entre en phase de contact, la prédiction d’objectifs tactiles et la correction par retour à haute fréquence peuvent améliorer la stabilité des opérations robotiques, démontrant que le toucher peut être intégré dans les modèles du monde et les stratégies d’opération des robots, et non se limiter à des lectures de capteurs.
PHANES AI souligne que la manipulation dextre tactile est un problème systémique qui ne peut être résolu par un modèle unique. Au cours du développement, l’équipe, confrontée à l’absence de solutions tactiles matures pour les mains dextres à haut degré de liberté, a découpé et adapté des gants tactiles sur des mains dextres à cinq doigts, mais a rencontré des problèmes tels que la fragilité des gants, la dérive du système due à la chaleur des mains dextres, un bruit de données élevé et une faible efficacité de collecte. Par conséquent, l’entreprise investit dans l’infrastructure de données et construit une plateforme de collecte de données multimodales à faible coût, non intrusive et portable, intégrant des informations de vision à la première personne, de perspective du poignet, de posture de la main, de toucher de toute la paume et de posture du corps entier, dans le but de fournir aux robots des données plus proches des sensations réelles de la main humaine.
PHANES AI espère, autour de la manipulation dextre mobile pour le corps entier des robots humanoïdes, compléter les capacités systémiques incluant la collecte de données tactiles, l’estimation tactile, le modèle du monde tactile, la téléopération et les bases matérielles, le système d’évaluation, ainsi que le modèle de manipulation dextre mobile pour le corps entier. Sa feuille de route technologique, partant d’EgoTouch et TouchAnything pour résoudre le problème de la source des données tactiles, passant par TouchWorld pour réaliser la prédiction et l’utilisation du toucher, jusqu’à HumanWBC visant une boucle fermée de perception-compréhension, déplacement autonome, contrôle du corps entier et manipulation dextre, permet au robot de passer de la capacité à voir à celle de se déplacer, saisir et accomplir des tâches.
L’article sur TouchWorld a été publié sur arXiv (arxiv.org/abs/2607.07287), et la page du projet est phanes-lab.github.io/TouchWorld-website/. L’article sur TouchAnything (arxiv.org/abs/2605.13083) et sa page de projet (jianyi2004.github.io/TouchAnything-Website/) sont également publics.
