fr.wedoany.com Rapport : Le 7 juillet, l'entreprise américaine de puces et de calcul d'IA NVIDIA a annoncé un partenariat avec la plateforme américaine d'IA open source Hugging Face, intégrant NVIDIA Isaac GR00T 1.7 et NVIDIA Isaac Teleop dans la bibliothèque open source de robotique LeRobot, avec l'intention d'intégrer ultérieurement le modèle NVIDIA Cosmos 3. Cette intégration cible la collecte de données, l'entraînement de modèles, le post-entraînement, le déploiement et la gestion des flux de travail pour les développeurs de robots, visant à élargir la disponibilité des outils d'IA physique ouverts.
LeRobot est une bibliothèque open source de robotique lancée par Hugging Face, utilisée pour entraîner, exécuter et partager des ensembles de données, des modèles, des stratégies et des flux de travail robotiques. Elle agit davantage comme une couche d'accès unifiée dans le processus de développement robotique, permettant aux développeurs de collaborer autour de la gestion des données, de l'entraînement des modèles, de l'évaluation des stratégies et des processus de déploiement. En intégrant Isaac GR00T 1.7 et Isaac Teleop dans LeRobot, NVIDIA permet aux développeurs de robots d'utiliser les modèles, outils de téléopération et formats de données associés dans un environnement plus standardisé, réduisant ainsi les coûts d'adaptation entre différentes chaînes d'outils.
NVIDIA Isaac GR00T 1.7 est un modèle fondamental de NVIDIA destiné au domaine de la robotique, aidant les développeurs à obtenir des démonstrations humaines de haute qualité via des dispositifs externes et à les intégrer dans LeRobot dans un format standardisé et interopérable. L'apprentissage robotique dépend fortement des données d'opération réelles, en particulier dans des scénarios tels que la préhension, le déplacement, la collaboration à deux bras et l'exécution de tâches complexes. Se fier uniquement aux données de simulation ou aux règles codées manuellement ne permet pas de couvrir les variations de l'environnement réel. Avec l'intégration de GR00T 1.7 dans LeRobot, les développeurs peuvent relier les données de démonstration, les processus de post-entraînement et le développement de stratégies robotiques, et faire progresser l'adaptation des modèles de manière plus unifiée.
Isaac Teleop joue le rôle de cadre de téléopération. Les développeurs peuvent collecter des données de démonstration humaine lors de l'exécution de tâches par le robot via la téléopération, puis effectuer le post-entraînement et le déploiement via le flux de travail LeRobot. Pour qu'un robot apprenne des actions du monde réel, il a besoin d'un grand nombre de démonstrations humaines de haute qualité. Les outils de téléopération permettent aux développeurs de collecter plus facilement des données provenant de différents robots, tâches et scénarios. Une fois Isaac Teleop intégré dans le flux de travail open source, la collecte de données n'est plus seulement une capacité interne d'un système fermé, mais peut entrer dans une communauté plus large de développement robotique.
L'intégration ultérieure de NVIDIA Cosmos 3 apportera les capacités du modèle fondamental du monde de l'IA physique dans l'écosystème LeRobot. Le développement robotique est souvent limité par le coût de la collecte de données dans le monde réel. De nombreux scénarios sont difficiles à reproduire en déployant des robots pour obtenir des données, et ne conviennent pas non plus à des essais sur le terrain à haut risque. Cosmos 3 peut être utilisé pour générer et enrichir des données robotiques, construire des scénarios de simulation et aider au développement de stratégies, permettant aux développeurs de poursuivre l'entraînement et l'évaluation même en cas de données réelles insuffisantes. La combinaison de données réelles, de données de téléopération et de données synthétiques enrichit le matériel d'entraînement des modèles robotiques et facilite la couverture des tâches à longue traîne.
Ce partenariat connecte également les écosystèmes de développeurs des deux entreprises. NVIDIA compte environ 3 millions de développeurs de robots, Hugging Face environ 16 millions de développeurs d'IA, et LeRobot offre un point d'entrée pour la collaboration communautaire open source. Par le passé, le développement robotique était souvent dispersé entre fabricants de matériel, plateformes de simulation, bases de code de laboratoire et environnements logiciels spécialisés, avec une isolation des chaînes d'outils entre les développeurs d'IA et les développeurs de robots. La connexion de GR00T, Teleop, Cosmos et LeRobot permettra à davantage de développeurs d'IA d'accéder aux ensembles de données robotiques, à l'entraînement de stratégies et aux flux de travail d'IA physique, tout en facilitant l'utilisation par les développeurs de robots des modèles open source et des méthodes de collaboration de l'écosystème Hugging Face.
Les ressources NVIDIA déjà intégrées dans LeRobot incluent également un ensemble de données open source d'IA physique. Cet ensemble de données a été téléchargé plus de 15 millions de fois, contient plus de 350 000 trajectoires réelles et simulées, ainsi que 57 millions de données de préhension, pouvant soutenir le démarrage de flux de travail robotiques. Pour les équipes qui débutent dans le développement robotique, ce qui est le plus difficile à obtenir au stade initial n'est souvent pas le code du modèle, mais les données disponibles, les processus expérimentaux reproductibles et les ressources d'évaluation standardisées. L'entrée simultanée de l'ensemble de données, du modèle fondamental et des outils de téléopération dans LeRobot permet aux développeurs de mettre en place plus rapidement un flux de travail d'entraînement robotique fonctionnel.
Ce partenariat entre NVIDIA et Hugging Face place plusieurs étapes clés du développement de l'IA physique sur une même voie open source : les données de démonstration humaine sont collectées via Isaac Teleop, le modèle fondamental robotique est intégré via Isaac GR00T 1.7, les données synthétiques et enrichies sont complétées par Cosmos 3, et les processus d'entraînement, d'évaluation et de partage sont pris en charge par LeRobot. À mesure que les modèles et outils associés seront progressivement ouverts, les développeurs de robots pourront effectuer la préparation des données, l'adaptation des modèles, l'entraînement des stratégies et la validation du déploiement autour d'un même flux de travail open source.
