fr.wedoany.com Rapport : NVIDIA a annoncé que son NVIDIA Agent Toolkit inclut désormais la bibliothèque NVIDIA Omniverse, un ensemble de composants logiciels qui fournissent aux agents d’IA des outils et des compétences pour ajouter des capacités d’IA physique aux applications existantes et préparer du contenu 3D pour la simulation.
Les robots, les usines et les systèmes autonomes doivent être conçus, testés et entraînés dans des environnements simulés avant d’être déployés dans le monde réel. La préparation de contenu 3D pour la simulation ne nécessite pas seulement des visuels réalistes ; les actifs doivent également posséder la structure, les matériaux, les proportions, les étiquettes, les capteurs et les propriétés physiques appropriés. Grâce à la bibliothèque NVIDIA Omniverse dans l’Agent Toolkit de NVIDIA, les agents d’IA disposent d’outils et de compétences pour créer des flux de travail, inspecter des scènes, identifier des problèmes et préparer des actifs, aidant ainsi les développeurs à convertir plus rapidement du contenu 3D en environnements prêts pour la simulation.
Jensen Huang, fondateur et PDG de NVIDIA, a déclaré que l’ère de l’IA physique sera d’abord construite dans la simulation. L’Agent Toolkit de NVIDIA, équipé de la bibliothèque Omniverse, introduit des agents d’IA dans les outils 3D déjà utilisés par les développeurs, les aidant à construire des mondes prêts pour la simulation, permettant aux robots, aux usines et aux systèmes autonomes d’être entraînés et testés avant d’entrer dans le monde réel.
Des fabricants de logiciels, dont SideFX et PTC, intègrent la bibliothèque Omniverse pour la simulation de capteurs prête pour les agents, la physique et la validation des actifs, apportant l’IA agent dans les applications et flux de travail de préparation de contenu 3D déjà utilisés par les développeurs et les artistes techniques.
La bibliothèque Omniverse apporte des compétences d’IA physique à l’Agent Toolkit de NVIDIA. L’Agent Toolkit de NVIDIA aide les fabricants de logiciels à construire des agents d’IA qui connectent des outils, des compétences et des sources de données, tandis que la bibliothèque Omniverse étend ces agents aux flux de travail 3D et d’IA physique, fournissant des outils appelables pour la simulation de capteurs, la physique accélérée par GPU et la validation d’actifs prêts pour la simulation dans les applications existantes. Les nouvelles bibliothèques Omniverse incluent les compétences ovrtx, ovphysx et CAD-to-SimReady, désormais disponibles sur GitHub, dotant les agents d’IA d’outils pour créer des flux de travail, inspecter des scènes, tester des modifications et préparer des actifs 3D pour la simulation. Un nouveau plan pour intégrer la bibliothèque Omniverse dans Blender est également disponible sur GitHub.
En ce qui concerne la simulation de capteurs NVIDIA RTX, ovrtx aide les applications à générer des sorties de caméra, LiDAR, radar et autres capteurs à partir de scènes 3D, permettant aux développeurs et aux agents d’IA de tester comment les systèmes d’IA physique perçoivent les environnements virtuels. Pour le comportement physique, ovphysx utilise la physique accélérée par GPU pour apporter un comportement réaliste aux scènes 3D via des propriétés telles que les collisions, la masse, le frottement et le mouvement, permettant aux équipes de tester d’abord comment les objets et les systèmes interagissent dans la simulation. Pour les objets 3D prêts pour la simulation, la compétence CAD-to-SimReady aide à convertir les données de conception assistée par ordinateur (CAO) en actifs SimReady basés sur OpenUSD, fournissant au contenu 3D les propriétés nécessaires à la simulation d’IA physique et aux tests virtuels.
Des fabricants de logiciels, dont SideFX et PTC, ainsi que les startups ForgeCAD, Lightwheel, Moonlake AI et Palatial, sont parmi les premiers à adopter et à utiliser la bibliothèque Omniverse dans le cadre de l’Agent Toolkit de NVIDIA. SideFX utilise les flux de travail OpenUSD ainsi que les bibliothèques ovrtx et ovphysx pour explorer comment les agents peuvent aider à intégrer la bibliothèque Omniverse dans ses flux de travail de création de contenu 3D procédural Houdini, offrant aux artistes techniques une voie pour générer, tester la physique et préparer du contenu pour la simulation. Kim Davidson, président et PDG de SideFX, a déclaré que la création 3D procédurale est essentielle pour construire les mondes complexes et contrôlables nécessaires à la simulation, à la robotique et à l’IA industrielle. Grâce à la bibliothèque NVIDIA Omniverse et à OpenUSD, SideFX explore comment les outils prêts pour les agents peuvent soutenir les flux de travail Houdini, aidant les artistes techniques à examiner, tester et préparer du contenu procédural pour la simulation tout en conservant le contrôle du processus créatif. La plateforme PTC Onshape CAO et de gestion des données produit (PDM) utilise OpenUSD et ovrtx pour connecter les flux de travail de conception natifs dans le cloud à la simulation physique, aidant le contenu de conception de produit à rester connecté aux flux de travail CAO, PDM, de collaboration et de simulation. Neil Barua, président et PDG de PTC, a déclaré que les équipes d’ingénierie recherchent des moyens plus connectés de concevoir, collaborer et simuler tout au long du processus de développement. Le partenariat de PTC avec NVIDIA soutient cette vision plus large, et la bibliothèque NVIDIA Omniverse contribue à réaliser des flux de travail prêts pour la simulation, rapprochant la validation et les tests du lieu de conception du produit.
Le « SimReady » Blender présenté à SIGGRAPH est un exemple de flux de travail construit à l’aide de la bibliothèque NVIDIA Omniverse et de NVIDIA NemoClaw dans Blender, montrant comment les fabricants de logiciels peuvent ajouter des capacités de simulation prêtes pour les agents aux applications 3D existantes. Cela est désormais disponible en tant que plan pour intégrer la bibliothèque Omniverse dans Blender. La démonstration a également prévisualisé comment ces flux de travail peuvent fonctionner localement, des systèmes RTX compacts équipés de NVIDIA RTX Spark aux systèmes équipés de NVIDIA GB300 et de NVIDIA DGX Station. Les systèmes RTX Spark seront lancés cet automne par ASUS, Dell Technologies, HP, Lenovo, Microsoft Surface et MSI, avec des modèles d’Acer et de GIGABYTE à suivre. Les systèmes DGX Station peuvent être commandés auprès d’ASUS, Dell, GIGABYTE, HP, MSI, Supermicro et Exxact.
Les startups, y compris celles faisant partie du programme NVIDIA Inception, utilisent également la bibliothèque Omniverse et ses compétences pour ajouter des flux de travail de préparation d’actifs et de scènes assistés par des agents. Palatial utilise la compétence Omniverse CAD-to-SimReady pour créer et valider automatiquement des actifs SimReady à grande échelle à partir d’entrées CAO. Lightwheel utilise les agents de contenu Omniverse pilotés par OpenUSD dans sa technologie SimReadyGen pour générer des actifs SimReady physiquement précis à partir d’invites textuelles. ForgeCAD et Moonlake AI explorent des flux de travail de contenu 3D pilotés par des agents, utilisant les capacités Omniverse pour aider à générer, améliorer et préparer des actifs pour la simulation d’IA physique.
