fr.wedoany.com Rapport : Le laboratoire d'intelligence artificielle de Shanghai (Shanghai AI Lab) a récemment obtenu l'approbation pour six normes nationales qu'il a proposées, couvrant des domaines de pointe de l'IA tels que les grands modèles, l'IA scientifique, la sécurité de l'IA et l'IA incarnée. Parallèlement, plusieurs normes clés sur l'IA dirigées par le laboratoire progressent régulièrement dans les phases d'approbation et de rédaction, y compris la première norme internationale de l'IEEE dans le domaine de l'IA scientifique. En tant qu'unité responsable du groupe de travail WG9, le laboratoire construit systématiquement une chaîne complète de spécifications de contrôle de sécurité de l'IA, contribuant au développement de haute qualité de l'industrie chinoise de l'IA.
Basé sur une collaboration à long terme entre l'industrie, le monde universitaire et la recherche, le laboratoire a établi une matrice de normes d'évaluation de l'IA couvrant tous les domaines, avec une structure hiérarchique tridimensionnelle et une intégration complète des processus métier. En développant un système d'évaluation complet intégrant des aspects subjectifs et objectifs, le laboratoire explore l'établissement d'un paradigme d'évaluation équilibrant les performances techniques et les applications pratiques, soutenant ainsi l'initiative « IA + ».
Les six normes nationales approuvées sont respectivement : « Intelligence artificielle — Spécifications pour la construction de plateformes d'évaluation de grands modèles », « Intelligence artificielle — Spécifications techniques pour la préparation de données scientifiques », « Intelligence artificielle — Spécifications techniques pour l'agrégation et la classification des pistes de données scientifiques », « Technologies de sécurité réseau — Méthode d'évaluation de la maturité des capacités de sécurité de l'IA », « Intelligence artificielle — Spécifications d'évaluation des modèles du monde », et « Intelligence artificielle — Spécifications de qualité des données pour l'IA incarnée — Partie 2 : Données générées ». À ce jour, le Shanghai AI Lab, en collaboration avec des instituts de recherche, des universités et l'industrie, a construit une matrice complète de normes d'évaluation de l'IA. En termes de couverture, elle s'étend horizontalement sur quatre domaines principaux : grands modèles, IA scientifique, sécurité de l'IA et IA incarnée, avec des subdivisions pour les grands modèles généraux, les modèles multimodaux, les modèles du monde, les agents, la simulation de robots humanoïdes, etc., couvrant des scénarios de test réels pour le texte, l'audio-vidéo, l'interaction incarnée et divers produits d'IA sectoriels. En termes de structure hiérarchique, une architecture de normes à quatre niveaux est établie verticalement : les normes nationales définissent les limites minimales de l'industrie, les normes sectorielles précisent les exigences d'évaluation subjective, les normes de groupe mettent en œuvre des solutions contextualisées, et les normes internationales de l'IEEE sont développées simultanément, formant un système de « spécifications de base — indicateurs spécialisés — règles de mise en œuvre — règles internationales ». En termes de processus métier, les normes sont rédigées selon une approche en boucle fermée : « définition des indicateurs — méthodes de test — spécifications des ensembles de données — construction de plateformes — validation de sécurité », couvrant les étapes clés telles que le développement et l'itération des modèles, les tests de sortie d'usine, l'évaluation par des tiers, le déploiement sectoriel et la maintenance des plateformes d'évaluation.
Une innovation de cette matrice de normes est le mécanisme d'évaluation intégré subjectif-objectif. Ce mécanisme, basé sur une évaluation quantitative objective, permet une couverture complète des indicateurs, une mise en œuvre intégrale des processus et une reconnaissance mutuelle des résultats entre institutions. Parallèlement, il standardise les indicateurs de perception subjective tels que l'expérience d'interaction et l'adaptation aux scénarios, quantifiant et archivant les impressions humaines dispersées. Les deux types de données d'évaluation se calibrant mutuellement, l'évaluation de l'IA passe d'un simple score de performance à un système d'évaluation complet prenant en compte les capacités techniques, l'expérience utilisateur et la valeur industrielle.
La matrice de normes d'évaluation de l'IA construite par le Shanghai AI Lab vise à éliminer les barrières d'évaluation sectorielles, à unifier les références d'évaluation de l'IA de pointe en Chine, à permettre l'interopérabilité et la reconnaissance mutuelle des résultats d'évaluation entre institutions, et à réduire les coûts de tests redondants pour les entreprises. Cette matrice normalisera également le développement et l'itération de technologies de pointe telles que les grands modèles, l'IA incarnée et l'IA scientifique, améliorera les performances et la conformité de sécurité des produits d'IA, et soutiendra le déploiement des normes internationales de la Chine dans le domaine de l'IA.
À l'avenir, le Shanghai AI Lab continuera à se concentrer sur la normalisation de l'évaluation de l'IA, en itérant et en améliorant la matrice de normes, en ajoutant des règles d'évaluation pour des scénarios spécifiques, et en optimisant le processus de mise en œuvre de l'évaluation intégrée subjectif-objectif. Le laboratoire approfondira la collaboration entre l'industrie, le monde universitaire, la recherche et l'application, construira une plateforme ouverte et partagée de validation des normes, collaborera avec des instituts de recherche, des universités et des entreprises industrielles pour développer et tester les normes, et promouvra leur mise en œuvre afin d'accélérer le déploiement à grande échelle des normes locales.
