fr.wedoany.com Rapport : SoftBank Japan, en collaboration avec Yaskawa Electric Japan et NVIDIA États-Unis, a présenté un système de manipulation d’objets déformables basé sur le « Cloud GPU pour centre de données IA » en cours de développement chez SoftBank. SoftBank a également développé des outils de support pour le développement d’IA physique fonctionnant sur ce cloud GPU, couvrant la collecte de données de mouvement des robots, la génération de données synthétiques, l’entraînement des modèles d’IA, l’évaluation par simulation et le déploiement sur des robots physiques, cherchant à intégrer les étapes de développement des robots, auparavant dispersées, sur une plateforme unifiée.

Cette plateforme intègre la bibliothèque Omniverse de NVIDIA, le modèle de monde ouvert Cosmos et le plan d’usine d’IA physique. Le robot se connecte d’abord au « Cloud GPU pour centre de données IA » de SoftBank pour collecter des données de mouvement, puis utilise Cosmos pour générer des données synthétiques afin d’enrichir l’ensemble d’entraînement. Les ingénieurs peuvent utiliser les ressources de calcul du cloud GPU pour entraîner le modèle et effectuer une évaluation des performances dans un environnement de simulation intégrant la bibliothèque Omniverse. Le modèle validé est ensuite déployé sur le robot physique. SoftBank prévoit d’utiliser cette plateforme pour permettre aux entreprises d’améliorer continuellement les modèles à l’aide de données terrain et d’étendre les résultats de développement à d’autres tâches opérationnelles et équipements robotiques.

Yaskawa Electric Japan est responsable du développement du système de manipulation d’objets déformables basé sur la technologie vision-langage-action, permettant au robot de générer des plans de mouvement en fonction des informations visuelles et des instructions de tâche, et d’effectuer la reconnaissance, la saisie et la manipulation. Cette démonstration a choisi comme objet de test des faisceaux de câbles dont la forme et l’agencement changent constamment. Le robot évalue l’état du faisceau via son système visuel, et l’IA génère en temps réel des instructions de mouvement pour placer le faisceau de manière stable dans une boîte. Les validations connexes couvrent également des objets tels que des câbles et des tissus, dont la forme varie en fonction de la tâche, principalement destinés aux scénarios opérationnels difficiles à traiter de manière stable avec les méthodes de contrôle robotique traditionnelles basées sur des programmes prédéfinis.