fr.wedoany.com Rapport : Le 13 juillet, SenseTime, entreprise chinoise, a officiellement publié et ouvert le grand modèle visuel unifié de compréhension et de génération SenseNova-Vision, offrant des capacités de modèle unifiées pour des tâches telles que la détection d'objets, la reconnaissance optique de caractères, la segmentation d'images, l'estimation de profondeur, l'estimation de normales de surface, la géométrie multi-vue et l'estimation de pose de caméra. Contrairement aux approches techniques antérieures qui nécessitaient des modèles, des têtes de prédiction et des décodeurs distincts pour différentes tâches visuelles, SenseNova-Vision transforme plusieurs types de tâches de vision par ordinateur en problèmes de génération de texte, de génération d'images ou de génération mixte texte-image, permettant ainsi aux capacités de perception visuelle d'entrer directement dans le système d'entrée-sortie des modèles multimodaux généraux.
Cette publication ne se limite pas aux poids du modèle. SenseTime a également mis à disposition le modèle SenseNova-Vision-7B-MoT, le code d'inférence, le rapport technique et le corpus visuel SenseNova-Vision-Corpus-50M, ainsi que des accès à l'inférence sur image unique, à l'inférence interactive, à la démonstration web et aux évaluations de référence. Les archives officielles du projet indiquent que le modèle, l'ensemble de données, le code d'inférence et le rapport technique susmentionnés ont été mis en ligne progressivement à partir du 8 juillet, et que les informations complètes de publication ont été divulguées le 13 juillet.
Les systèmes traditionnels de vision par ordinateur établissent généralement des chaînes techniques indépendantes pour chaque tâche. La détection d'objets nécessite la sortie de catégories et de boîtes englobantes, la segmentation d'images exige la génération de masques au niveau des pixels, l'estimation de profondeur calcule la distance spatiale correspondant à chaque pixel, et la reconstruction 3D doit traiter des images multi-vues, des cartes de points et des paramètres de caméra. Ces tâches nécessitaient auparavant différentes structures de modèle, objectifs d'entraînement, modules de prédiction spécialisés et méthodes de traitement de données. SenseNova-Vision tente de supprimer cette fragmentation des modèles entre les tâches, en n'ajoutant plus de branches d'architecture spécialisées pour la détection, la segmentation, l'estimation de profondeur ou la prédiction géométrique, mais en permettant au même modèle d'identifier le type de tâche, la zone cible, l'angle d'observation et les règles de sortie en fonction d'instructions en langage naturel.
Après unification, les différents résultats visuels conservent des formes d'expression adaptées à leurs propres caractéristiques. Les informations structurées telles que les catégories d'objets, les boîtes englobantes, les coordonnées, les résultats de reconnaissance de texte, les points clés du corps humain et les paramètres de caméra peuvent être directement générées par le modèle sous forme d'enregistrements textuels ; les résultats au niveau des pixels, comme les masques de segmentation, les cartes de profondeur, les cartes de normales de surface et les cartes de points 3D multi-vues, sont générés sous forme d'images. Pour les tâches combinées nécessitant à la fois la description de catégories d'objets et la sortie de régions de segmentation correspondantes, le modèle peut générer simultanément du texte et des images, permettant à une même interface d'interaction de couvrir la compréhension visuelle structurée, la prédiction géométrique dense, la segmentation d'images et la géométrie visuelle multi-vue.
Les instructions en langage naturel deviennent une entrée importante pour connecter diverses tâches visuelles. Les développeurs peuvent spécifier, par des descriptions textuelles, les catégories d'objets, les couleurs, les zones, les angles de vue et les formats de sortie à reconnaître, ou ajouter des indices visuels pour désigner les objets à traiter. Le modèle génère ensuite des résultats interprétables selon les instructions. Cette approche permet aux tâches visuelles de ne plus être entièrement limitées par des listes de catégories fixes et des formats d'évaluation prédéfinis. Par exemple, les utilisateurs peuvent combiner des catégories, des couleurs et des conditions de zones locales via le langage, créant ainsi des exigences de traitement visuel plus flexibles que les tâches fixes traditionnelles.
Pour soutenir cette méthode d'entraînement unifiée, SenseTime a construit le corpus SenseNova-Vision-Corpus-50M. Ce corpus convertit les annotations visuelles, auparavant dispersées dans des tâches telles que la détection, la reconnaissance de texte, la localisation de points clés, la segmentation d'images, l'estimation de profondeur et la géométrie multi-vue, en une structure d'échantillon unifiée de type « entrée visuelle, instruction en langage naturel, réponse décodable », les réponses couvrant du texte, des images et un contenu mixte texte-image. Le processus d'entraînement utilise principalement ce corpus visuel, tout en ajoutant des données multimodales auxiliaires, afin de réduire la perte de compréhension générale et de capacité de génération d'images du modèle lors du renforcement de ses capacités visuelles.
En termes de portée des tâches publiques, SenseNova-Vision couvre actuellement quatre grandes catégories de capacités visuelles. La compréhension visuelle structurée inclut la détection d'objets, la localisation par référence, la reconnaissance de texte, la localisation d'éléments d'interface et la prédiction de points clés ; la prédiction géométrique dense comprend l'estimation de profondeur monoculaire et la prédiction de normales de surface ; la segmentation couvre la segmentation générale, la segmentation par référence, la segmentation par inférence, la segmentation interactive et la segmentation avec description sémantique ; la géométrie visuelle multi-vue inclut la reconstruction de cartes de points 3D et l'estimation de pose de caméra. Les résultats de référence officiels montrent qu'un modèle unique peut rivaliser avec certains modèles spécialisés et modèles visuels généraux dans divers formats de sortie et tâches visuelles, mais les performances ne sont pas uniformes d'une tâche à l'autre.
Après la publication du modèle, les développeurs peuvent exécuter des exemples prédéfinis via le code officiel, ou lancer une inférence unique en spécifiant le type de tâche, les invites textuelles et l'image d'entrée. Le site officiel propose également un schéma de démonstration web locale basé sur Gradio, recommandant l'utilisation d'un processeur graphique avec 80 Go de mémoire pour une démonstration complète ; pour exécuter l'ensemble des évaluations de référence, il est recommandé de configurer au moins un serveur équipé de 8 processeurs graphiques de 80 Go chacun. Cela indique que, bien que SenseNova-Vision offre déjà une interface d'inférence complète, son déploiement et son évaluation sur l'ensemble des tâches nécessitent encore des ressources de calcul élevées.
Les limites de la licence sont également claires. Les poids du modèle SenseNova-Vision sont sous licence CC BY-NC 4.0, principalement destinée à un usage non commercial, et la page de l'ensemble de données porte la même licence ; le code source sur le GitHub officiel doit être utilisé conformément à la licence spécifiée dans le dépôt de code. Par conséquent, cette « ouverture complète du code source » signifie principalement que le modèle, le corpus d'entraînement, le code d'inférence, le rapport technique et les méthodes d'évaluation sont désormais accessibles à la communauté de recherche, mais ne signifie pas que tous les contenus peuvent être utilisés sans restriction dans des produits commerciaux.
SenseTime a également listé les limitations actuelles dans la description du modèle. Le modèle unifié ne signifie pas qu'il surpasse les systèmes spécialisés dans chaque tâche professionnelle ; certains modèles spécialisés peuvent encore conserver un avantage dans des références spécifiques ; les sorties textuelles nécessitent encore des programmes d'analyse configurés selon les tâches, et les résultats d'image doivent être décodés conformément au protocole d'entraînement. Les résultats tels que la profondeur, les normales de surface, les cartes de points 3D et les poses de caméra doivent encore être validés par des systèmes indépendants avant d'être utilisés dans des scénarios exigeant une haute sécurité, comme la robotique, la conduite autonome ou l'inspection industrielle, et ne peuvent pas être directement utilisés comme base de contrôle finale.
Le principal changement technique apporté par SenseNova-Vision est la réorganisation des tâches visuelles classiques auparavant dispersées en tâches de génération pouvant être traitées par un modèle multimodal général. La détection, la segmentation, l'estimation de profondeur et la géométrie 3D ne correspondent plus à des systèmes isolés, mais partagent des instructions en langage naturel, des entrées visuelles et un espace de génération texte-image, offrant ainsi une nouvelle voie pour intégrer davantage la perception visuelle, la compréhension du langage, la génération d'images et le raisonnement spatial dans un même modèle de base.
