fr.wedoany.com Rapport : Le 9 juillet, la collaboration open source en robotique entre Nvidia et Hugging Face est entrée dans une nouvelle phase. Les deux entreprises introduiront des modèles de base open source, des cadres de collecte de données et des flux de travail de formation et de déploiement destinés aux développeurs en robotique, en combinant l’écosystème GPU de Nvidia, la pile logicielle CUDA, la plateforme Isaac Robot avec la bibliothèque de modèles et la communauté de développeurs de Hugging Face, afin de réduire les barrières à l’entrée pour la formation, le réglage fin et le déploiement de l’IA en robotique.
Le point d’entrée central de cette collaboration est la bibliothèque open source de robotique de Hugging Face, LeRobot. LeRobot est utilisé pour former, exécuter et partager des ensembles de données, des modèles, des stratégies et des flux de travail en robotique. Nvidia y intègre des capacités telles qu’Isaac GR00T 1.7 et Isaac Teleop, permettant aux développeurs d’effectuer la collecte de données, la normalisation des données, le post-entraînement des modèles, l’évaluation des performances et le déploiement dans un processus unifié. Pour le développement robotique, les difficultés ne résident pas seulement dans le modèle lui-même, mais aussi dans les sources de données, l’environnement de simulation, l’adaptation aux robots réels, l’évaluation des tâches et le déploiement en périphérie. Auparavant, les développeurs devaient souvent traiter séparément le contrôle matériel, les cadres de formation, les outils de simulation, les formats de données et les plateformes de déploiement, ce qui fragmentait le processus et augmentait les coûts. En intégrant les modèles, les données, la simulation et les outils de déploiement robotiques dans un flux de travail ouvert, Nvidia et Hugging Face ouvrent en quelque sorte la chaîne de développement des grands modèles robotiques à la communauté open source.
Isaac GR00T 1.7 est un modèle clé de cette collaboration. Il s’agit d’un modèle d’action vision-langage ouvert destiné aux robots humanoïdes, qui aide les développeurs à adapter le modèle à de nouvelles morphologies de robots et à de nouveaux scénarios de tâches.
Les modèles de base en robotique diffèrent des modèles d’IA qui ne traitent que du texte ou des images. Ils doivent comprendre les relations entre les entrées visuelles, les instructions linguistiques, l’état du robot et les sorties d’action, puis convertir les résultats en stratégies motrices exécutables. Des actions telles que saisir, déplacer, tourner, éviter les obstacles, placer, ouvrir une porte et ranger des objets nécessitent que le modèle forme une boucle fermée entre la perception, le raisonnement et le contrôle. Les plateformes GPU, CUDA, Isaac Sim, Isaac Lab et Jetson de Nvidia fournissent des capacités de formation, de simulation, de calcul accéléré et de déploiement en périphérie ; Hugging Face, quant à elle, offre l’hébergement de modèles, le partage d’ensembles de données, la collaboration open source et les canaux de distribution aux développeurs. En combinant les deux, les entreprises de robotique, les instituts de recherche et les développeurs peuvent obtenir plus rapidement des modèles, des données et des outils de formation, sans avoir à reconstruire à partir de zéro les cadres de base.
Isaac Teleop, quant à lui, prend en charge la phase de collecte de données robotiques. Ce cadre aide les développeurs à collecter des données de démonstration humaine de haute qualité via des dispositifs externes et à les intégrer dans LeRobot dans un format standardisé et interopérable. La formation robotique dépend fortement des données d’action, en particulier des trajectoires de démonstration humaine, des actions de saisie, des processus opérationnels et des échantillons d’échec ; plus ces données sont standardisées, plus la réutilisation des modèles et l’efficacité de la collaboration communautaire sont élevées.
Nvidia prévoit également d’introduire Cosmos 3 dans LeRobot. Cosmos 3, un modèle de base mondial pour l’IA physique, peut être utilisé pour générer et augmenter des données robotiques, simuler des scénarios et soutenir le développement de stratégies lorsque les données du monde réel sont insuffisantes ou trop coûteuses à collecter. La formation robotique est souvent limitée par le coût de la collecte de données réelles, en particulier dans les scénarios dangereux, les conditions de travail complexes et les tâches à faible fréquence ; la simulation et les données synthétiques peuvent compléter les échantillons de formation et aider le modèle à effectuer davantage de validations avant d’être déployé sur un robot physique.
Cette collaboration fera passer la formation des modèles open source en robotique d’une « publication ponctuelle de modèles » à un processus intégré « modèle, données, simulation, post-entraînement, évaluation, déploiement ». Les prochains axes d’attention porteront sur l’efficacité d’adaptation de GR00T 1.7 sur différentes morphologies de robots, la qualité de la collecte de données d’Isaac Teleop, la capacité de génération de données de Cosmos 3 après son intégration dans LeRobot, ainsi que les performances de déploiement des modèles d’action vision-langage sur des plateformes périphériques comme Jetson.
