NVIDIA et Hugging Face unissent leurs forces pour intégrer un nouveau cadre de modèles dans LeRobot

fr.wedoany.com Rapport : NVIDIA s’est associée à la communauté open source d’intelligence artificielle Hugging Face pour introduire son modèle de vision-langage-action ouvert pour robots humanoïdes, Isaac GR00T 1.7, ainsi que son cadre de collecte de données Isaac Teleop, dans la bibliothèque robotique open source LeRobot de Hugging Face, avec l’intention d’y ajouter prochainement le modèle physique d’IA de pointe Cosmos 3. Ces intégrations visent à offrir aux développeurs une voie de développement robotique de bout en bout plus accessible et standardisée, tout en favorisant la collaboration et l’innovation au sein de la communauté robotique ouverte.

Thomas Wolf, cofondateur et directeur scientifique de Hugging Face, a déclaré que l’open source est la manière dont un domaine transforme la recherche avancée en contenu que les gens peuvent apprendre, adapter et construire. Avec l’intégration d’Isaac GR00T 1.7 et d’Isaac TeleOp dans LeRobot, les développeurs peuvent utiliser des modèles, des données et des workflows partagés pour entraîner et évaluer des robots dans un environnement ouvert ; l’arrivée prochaine de Cosmos 3 offrira à la communauté un moyen d’intégrer des modèles mondiaux de pointe dans le même cycle collaboratif.

LeRobot de Hugging Face est une bibliothèque open source pour entraîner, exécuter et partager des ensembles de données, des modèles, des stratégies et des workflows robotiques. Ce partenariat connecte les 3 millions de développeurs robotiques de NVIDIA aux 16 millions de créateurs d’IA de Hugging Face, élargissant l’accès aux outils d’IA physique de pointe. Les intégrations spécifiques incluent : Isaac Teleop, un cadre open source de collecte de données, aidant les développeurs à capturer des démonstrations humaines de haute qualité dans un format standardisé et interopérable, et à étendre directement les ensembles de données partagés dans LeRobot ; Isaac GR00T 1.7, le premier modèle de base robotique ouvert et commercialement viable, simplifiant le post-entraînement et le déploiement via les workflows LeRobot, permettant l’adaptation du modèle à de nouveaux corps et tâches robotiques, et fournissant des performances de référence ; Cosmos 3, un modèle de base mondial d’IA physique de pointe, bientôt disponible dans LeRobot, utilisé pour générer et enrichir des données robotiques, simuler des scénarios et soutenir le développement de stratégies lorsque les données du monde réel sont limitées.

Ces intégrations s’appuient sur les ressources existantes de NVIDIA pour soutenir le cycle complet de développement robotique. Ces ressources incluent : le plus grand ensemble de données d’IA physique open source, téléchargé plus de 15 millions de fois, contenant plus de 350 000 trajectoires réelles et simulées ainsi que 57 millions d’actions de préhension ; des cadres de simulation basés sur Isaac Sim et Isaac Lab ; Isaac Lab-Arena dans le centre d’environnements LeRobot, permettant aux développeurs de prototyper rapidement des environnements de simulation complexes, de les enregistrer dans LeRobot EnvHub et de les utiliser pour entraîner et évaluer des stratégies robotiques générales telles que GR00T, Pi et SmolVLA ; ainsi que l’intégration de NVIDIA Jetson Thor avec LeRobot Reachy 2, prenant en charge le déploiement de modèles VLA sur des robots humanoïdes open source.