fr.wedoany.com Rapport : Danfei Xu, un chercheur chinois, a lancé un écosystème et une norme de données d'opérations humaines en première personne appelée EgoVerse, visant à créer pour l'apprentissage robotique un catalyseur similaire à celui qu'ImageNet a été pour l'IA visuelle. Danfei Xu est actuellement professeur assistant à l'École d'informatique interactive du Georgia Institute of Technology et directeur du Laboratoire d'apprentissage et de raisonnement robotique (RL2). Pendant son doctorat à l'Université Stanford, il a été co-encadré par Fei-Fei Li et Silvio Savarese. EgoVerse est une infrastructure de données à croissance durable, dont les partenaires de l'alliance incluent le Georgia Institute of Technology, l'Université Stanford, l'ETH Zurich, l'Université de Californie à San Diego, ainsi que des entreprises comme Meta, Scale AI, Lightwheel AI, Mecka AI, MicroAGI et Trace Labs. Lightwheel AI est la seule entreprise chinoise à y participer.
L'apprentissage robotique est confronté depuis longtemps à un goulot d'étranglement dans l'acquisition de données. La formation actuelle repose encore sur la téléopération avec des robots réels, chaque démonstration supplémentaire nécessitant du matériel, du personnel et un espace dédié, ce qui entraîne des coûts élevés et des scénarios de tâches limités. Le comportement humain contient naturellement des informations visuelles et motrices riches, ce qui en fait une source d'entraînement plus idéale. Cependant, les ensembles de données humaines antérieurs étaient souvent des projets ponctuels, avec des dispositifs de collecte, des systèmes de coordonnées et des définitions de tâches non uniformisés, rendant difficile leur fusion pour l'entraînement. EgoVerse est conçu comme un cadre collaboratif « vivant » visant à briser cette limitation, permettant aux données incarnées mondiales de circuler selon un même « système linguistique ».
La version publique actuelle d'EgoVerse comprend 1 362 heures de données de démonstration humaine, environ 80 000 épisodes, 1 965 tâches, 240 scénarios et 2 087 collecteurs. Les données couvrent des vidéos en première personne, des poses de caméra, des informations tridimensionnelles des mains et des descriptions linguistiques fines, et l'effet de transfert a été validé sur différents laboratoires, robots et plateformes.
EgoVerse rassemble plusieurs grandes institutions pour avancer ensemble. Le Georgia Institute of Technology assume le rôle de centre d'organisation et de cadre de recherche, l'équipe de Danfei Xu étant responsable de la validation des tâches représentatives. L'équipe du professeur Shuran Song de l'Université Stanford, via l'UMI (Universal Manipulation Interface) qu'elle a créée, permet de transférer les données d'opérations humaines vers différentes plateformes robotiques. Meta fournit au projet des lunettes de collecte de données dédiées, Project Aria. Mecka AI promeut l'utilisation de l'iPhone et de dispositifs légers montés sur la tête pour la collecte en première personne, réduisant ainsi les barrières matérielles. Scale AI est responsable du nettoyage, de l'annotation et de la gestion de la qualité des données. MicroAGI explore la collecte distribuée par crowdsourcing. Trace Labs participe également. La contribution de Lightwheel AI est d'établir un système de contrôle qualité complet, allant de la collecte en périphérie au traitement cloud et à la validation par simulation.
Lightwheel AI décompose la qualité des données humaines en trois étapes. Premièrement, via un agent qui surveille en temps réel le processus de collecte, contrôlant l'intégrité des tâches, l'efficacité des actions et la distribution des données, et corrigeant les écarts sur le site de collecte. Deuxièmement, via une plateforme cloud compatible avec plusieurs dispositifs de collecte, elle met en œuvre une norme de données unifiée, traitant notamment l'odométrie visuo-inertielle (VIO), l'annotation tridimensionnelle des mains et du corps, ainsi que l'annotation sémantique des actions de niveau V7 ; la solution de données humaines de Lightwheel AI, EgoSuite, peut fournir ces annotations à l'échelle de la production. Enfin, en utilisant la plateforme de simulation SimFoundry et la plateforme d'évaluation RoboFinals, elle vérifie si les données sont réellement utiles pour l'apprentissage robotique, et les résultats de l'évaluation sont renvoyés pour guider la prochaine série de collecte, formant ainsi une boucle fermée de qualité des données.
Lightwheel AI participe également à un autre projet mondial d'infrastructure d'IA physique, Newton. Ce projet, co-lancé par NVIDIA, Google DeepMind et Disney Research, a un comité de direction technique composé de NVIDIA, Google DeepMind, Disney Research, Lightwheel AI et du Toyota Research Institute (TRI), visant à définir la feuille de route technique pour la simulation robotique et la modélisation physique. Lightwheel AI est actuellement la seule entreprise chinoise à participer simultanément aux deux systèmes de normes internationales, EgoVerse et Newton, passant ainsi d'un rôle d'utilisateur de normes à celui de co-définisseur.
