fr.wedoany.com Rapport : Une nouvelle étude présente un processus génératif pour former les capacités de manipulation mobile des robots humanoïdes, permettant de générer de grandes quantités de données appariées sans annotation manuelle.

Pour réaliser une manipulation mobile guidée par la perception, les robots humanoïdes doivent associer leurs propres observations et instructions de tâches à des mouvements corporels complets. L’apprentissage de cette correspondance nécessite des images égocentriques synchronisées, des commandes linguistiques et des trajectoires cinématiques compatibles avec le robot, mais les sources de données existantes ne peuvent pas fournir ces triplets complets à grande échelle. L’équipe de recherche résout ce goulot d’étranglement en synthétisant une supervision visuelle-linguistique-cinématique (VLK) dans des scènes reconstruites.

Ce processus utilise le 3D Gaussian Splatting pour reconstruire des environnements intérieurs avec une échelle métrique, synthétise des trajectoires de navigation et d’interaction avec des objets à l’aide d’informations privilégiées de la scène, et rend a posteriori des observations égocentriques appariées. Sans intervention humaine, les chercheurs ont généré 48 000 trajectoires appariées et entraîné une politique VLK capable de prédire des trajectoires cinématiques corporelles complètes à court terme. Un suiveur corporel complet convertit ces prédictions en actions réelles pour le robot humanoïde physique.

Pour valider l’efficacité de la méthode, l’équipe de recherche a effectué des tâches de navigation et de transport d’un seul objet sur le robot humanoïde physique Unitree G1. Les résultats montrent que les interactions synthétiques générées à partir de scènes reconstruites peuvent fournir une supervision efficace pour la manipulation mobile des robots humanoïdes basée sur la simulation vers la réalité (sim-to-real). Le site web du projet a été rendu public.