fr.wedoany.com Rapport : Le 7 juillet, Lingbo Technology, une entreprise d’intelligence incarnée sous Ant Group, a publié le modèle de perception spatiale LingBot-Depth 2.0. Ce modèle, entraîné sur 150 millions de données, a réalisé une mise à niveau complète en termes de netteté des contours, de reconnaissance des petits objets, d’estimation de profondeur à longue distance et de robustesse dans des scènes complexes.
LingBot-Depth est un modèle de perception spatiale développé en interne par Lingbo Technology, équivalent aux yeux du robot dans le monde physique. La version précédente avait déjà résolu le problème de perception spatiale des robots dans des scènes complexes comme le verre transparent ou réfléchissant. Par rapport à LingBot-Depth 1.0, la version 2.0 a vu ses données d’entraînement passer de 3 millions à 150 millions, avec une mise à niveau complète des performances : elle a obtenu 12 premières places sur 16 évaluations de référence en complétion de profondeur ; dans les scènes les plus difficiles de grandes zones de profondeur manquante en intérieur, l’erreur de profondeur a été réduite de moitié par rapport à la génération précédente, le RMSE passant de 0,132 à 0,062 ; elle se distingue particulièrement dans les scènes où les caméras de profondeur traditionnelles échouent le plus souvent, comme le verre, les miroirs et les objets transparents.
Cette fois, le modèle de base visuelle LingBot-Vision de LingBot-Depth 2.0 a également été lancé simultanément, construisant une chaîne de capacités pour le robot, de « comprendre » à « voir avec précision », visant à relever les défis clés de la vision robotique en matière de perception spatiale, de reconnaissance fine et d’adaptation à des environnements complexes.
Les progrès révolutionnaires de LingBot-Depth 2.0 sont dus à la capacité de représentation visuelle exceptionnelle de LingBot-Vision. En tant que modèle visuel général, LingBot-Vision est le premier modèle de base visuelle dans l’industrie à utiliser la « structure des contours » comme objectif de pré-entraînement, réalisant une percée dans le paradigme d’entraînement de la perception spatiale. Il possède une capacité de localisation des contours au niveau sub-pixel et de compréhension de la structure spatiale, offrant une perception spatiale plus précise et plus stable.
Le corpus de pré-entraînement de LingBot-Vision ne compte que 160 millions d’images, soit un ordre de grandeur de moins que DINOv3, mais sa précision d’estimation de profondeur est supérieure à celle de DINOv3. De plus, LingBot-Vision est suffisamment stable pour déterminer les contours des objets et peut suivre en continu les contours des objets dans une vidéo. LingBot-Vision a ouvert cette fois quatre versions : ViT-G/L/B/S.
Il est rapporté que LingBot-Vision, en plus de soutenir l’entraînement de LingBot-Depth 2.0, possède également une capacité générale de « multi-usage d’un seul modèle ».
Actuellement, LingBot-Depth 2.0 a obtenu la certification professionnelle du laboratoire de vision profonde d’Orbbec. Les tests en conditions réelles montrent que, basé sur les données 3D brutes au niveau de la puce fournies par la caméra binoculaire 3D Gemini 330 d’Orbbec, LingBot-Depth 2.0 a nettement amélioré la netteté des contours, l’intégrité des contours des objets, la reconnaissance des petits objets, l’estimation de profondeur à longue distance et la robustesse dans des scènes avec des éclairages et des matériaux complexes.
Sur le plan commercial, Ant Lingbo a déjà établi une coopération approfondie avec Orbbec dans de nombreux domaines. Il est rapporté que, dans la dernière gamme de produits de collecte de données sans corps d’Orbbec, la version RGB-D de l’appareil EGO sera adaptée à la version LingBot-Depth spécialement optimisée par Lingbo Technology pour les scénarios de collecte de données. Par la suite, des modèles commerciaux de niveau supérieur seront intégrés pour continuer à combler les lacunes de profondeur, optimiser les contours des objets et les détails de la structure spatiale, fournissant ainsi une base de données réelles plus précise, plus stable et plus utilisable pour l’entraînement des modèles d’intelligence incarnée.
De plus, Orbbec lancera un produit SDK intégrant les dernières capacités du modèle LingBot-Depth, destiné à être utilisé côté client par les robots, permettant aux robots utilisant les caméras de la série Gemini 330 d’obtenir de meilleurs effets de profondeur. Il est également prévu de lancer d’ici la fin de l’année un produit de caméra intégré avec la version commerciale de LingBot-Depth, réalisant une livraison intégrée de « caméra 3D + capacité de perception spatiale ». Avec le lancement des deux modèles, la coopération entre les deux parties devrait s’étendre à davantage de domaines.
Actuellement, les rapports techniques des deux modèles et les poids du modèle LingBot-Vision ont été ouverts. Lingbo Technology, une filiale d’Ant Group, a déclaré espérer construire avec l’industrie, de manière ouverte, une base de vision robotique, permettant aux robots de surmonter le goulot d’étranglement de « comprendre, voir avec précision et voir avec stabilité » dans le monde physique réel, et d’accélérer le déploiement à grande échelle de l’industrie de l’intelligence incarnée.
