fr.wedoany.com Rapport : NVIDIA GEAR, en collaboration avec l’équipe de Fei-Fei Li, le Georgia Institute of Technology et d’autres institutions, a dévoilé le système Real2Sim, SimFoundry. Ce système génère automatiquement, à partir d’une vidéo du monde réel, un environnement de simulation robotique interactif, entraînable et évaluable.
SimFoundry peut automatiquement remplacer des objets, ajuster la disposition de la scène et générer de nouvelles tâches de manipulation, tout en préservant la fonctionnalité et l’affordance des objets. Cela permet d’étendre un espace quasi infini de génération de données de simulation à partir d’une seule vidéo. Le système boucle le cycle Real-to-Sim, couvrant la génération de scènes, la génération de données, l’évaluation des stratégies et l’entraînement des stratégies.
L’entraînement des stratégies robotiques a longtemps dépendu de données coûteuses du monde réel, les environnements de simulation constituant une alternative évolutive. Cependant, la création d’environnements de simulation dotés de capacités d’interaction physique et géométrique réalistes nécessite encore un travail de modélisation manuelle important. SimFoundry utilise la reconstruction 3D et des modèles génératifs pour convertir rapidement le monde réel en environnements prêts pour la simulation (Sim-ready) prenant en charge les interactions physiques.
Les stratégies robotiques entraînées sur les données générées par SimFoundry peuvent être déployées sans réglage supplémentaire (zero-shot) sur des robots réels, réalisant une transition vers le monde réel pour des tâches telles que les opérations multi-étapes, la collaboration à deux bras et la manipulation d’objets articulés.
Le processus de SimFoundry se divise en trois phases : Extraction, Génération et Augmentation. Lors de la phase d’Extraction, le système, après avoir reçu une vidéo RVB, identifie et segmente les objets de la scène à l’aide d’outils tels que l’estimation de profondeur et les modèles de langage visuel (VLM). La phase de Génération utilise des modèles 2D-à-3D pour générer des maillages tridimensionnels, et combine des modèles comme FoundationPose pour restaurer la pose des objets, tout en déduisant la structure articulaire des objets articulés. Le résultat final est un environnement de simulation exportable vers des moteurs physiques comme IsaacLab, achevant la construction d’un jumeau numérique (Digital Twin).
L’Augmentation est l’innovation centrale de SimFoundry. Elle génère automatiquement des cousins numériques (Digital Cousins) à partir du jumeau numérique, en les étendant selon trois dimensions : modification de l’apparence et de la géométrie des objets tout en conservant leur fonctionnalité (Object Cousins) ; ajustement de la disposition des objets ou ajout de nouveaux objets pour créer de nouvelles scènes (Scene Cousins) ; déduction automatique de nouvelles tâches de manipulation en fonction de l’affordance des objets de la scène (Task Cousins).
L’étude a validé l’efficacité de SimFoundry sur deux plateformes robotiques et sept types de tâches de manipulation. Dans les expériences d’évaluation des stratégies, les performances des robots dans SimFoundry étaient très cohérentes avec celles du monde réel, avec un coefficient de corrélation de Pearson moyen de 0,911 et une violation de rang maximal moyen (MMRV) de 0,018. Après l’introduction des cousins numériques, le taux de réussite moyen des tâches des robots dans le monde réel a augmenté respectivement de 17 % (Object Cousins), 21 % (Scene Cousins) et 40 % (Task Cousins) par rapport à l’utilisation du seul jumeau numérique.
Les auteurs de cet article de recherche proviennent de NVIDIA GEAR, du Georgia Institute of Technology, de l’Université de Stanford, de l’UT Austin et de l’Université de Toronto, entre autres institutions. Les principaux chercheurs incluent le premier auteur Nadun Ranawaka Arachchige, Josiah Wong, Jiangyun Fan, Tianyuan Dai, Masoud Moghani, Hang Yin, ainsi que Jim Fan, Fei-Fei Li, Danfei Xu, Yuke Zhu, Ajay Mandlekar, Ruohan Zhang, Wenbowen et d’autres.
