fr.wedoany.com Rapport : Ant Group a récemment open sourcé deux cadres de sécurité pour l'IA : SingGuard-NSFA, destiné à la sécurité des agents intelligents, et SingGuard, destiné aux grands modèles multimodaux. L'objectif est de passer de la « correction de vulnérabilités » à la construction d'un « cadre de sécurité » pour faire face aux risques comportementaux posés par les grands modèles.
La plateforme NVDB du ministère chinois de l'Industrie et des Technologies de l'information avait précédemment émis un avertissement de risque, indiquant que Claude Code présentait un risque de porte dérobée de sécurité, pouvant collecter des informations sensibles à l'insu des utilisateurs. OpenClaw a également été fréquemment exposé pour des vulnérabilités à haut risque. Cela reflète la trajectoire de développement actuelle des produits Agent, qui passe souvent d'une adoption rapide à une perte de confiance. Alors que les capacités de l'IA ne cessent de croître, les risques comportementaux tels que l'utilisation abusive d'outils, la génération de code malveillant et l'injection de prompts s'intensifient.
La nature des risques de sécurité évolue, et l'industrie commence à déplacer son attention de la vérification du contenu des sorties des modèles vers la sécurité comportementale des modèles. C'est dans ce contexte qu'Ant Group a open sourcé les cadres SingGuard-NSFA et SingGuard.
Ces cadres proviennent d'Ant Group, une entreprise qui travaille depuis longtemps sur les systèmes de sécurité des paiements et de contrôle des risques. La sécurité de l'IA est une extension naturelle de l'évolution continue de ses capacités en matière de sécurité.
La sécurité traditionnelle de l'IA repose principalement sur la vérification du contenu, mais les grands modèles ne se limitent plus à la conversation ; ils commencent à appeler des outils et à exécuter du code. Les systèmes traditionnels de classification de la sécurité du contenu ne peuvent pas couvrir les risques comportementaux des modèles. Parallèlement, les risques multimodaux n'existent pas seulement dans le texte, mais peuvent également être cachés dans les détails des images, les combinaisons texte-image ou les réponses mêmes du modèle. Les lignes rouges de sécurité pour différents secteurs d'activité évoluent également de manière dynamique. Ce dont l'industrie a besoin, ce n'est pas de colmater les brèches, mais d'un cadre sous-jacent capable de définir les limites de sécurité, de faire face aux risques inconnus et aux changements de règles.
SingGuard-NSFA est un cadre de garde-fou à inférence bimodale pour la sécurité des agents intelligents, disponible en quatre tailles : 0,8B, 2B, 4B et 9B. Ce cadre place la vérification de sécurité avant l'exécution de l'agent, en établissant des points de contrôle à la fois pour l'interception des requêtes et pour la sécurisation des réponses, faisant ainsi passer la ligne de défense de la conformité du texte à la sécurité comportementale. Cette approche est soutenue par un système de classification des risques NSFA systématique et un benchmark d'évaluation multilingue. Ant Group utilise la triade CIA (Confidentialité, Intégrité, Disponibilité) comme base théorique, combinée à trois guides de sécurité OWASP pour les grands modèles et les agents intelligents, pour décomposer les risques des agents. Le cadre utilise un mode génératif pour produire une analyse de raisonnement en chaîne basée sur la définition NSFA, destinée à l'audit de conformité hors ligne ; un mode discriminant donne directement les scores de confiance pour chaque domaine de risque, avec une latence de 45 à 57 millisecondes, pour l'interception en ligne en temps réel à haut débit. Étant donné que le réseau principal est gelé, l'ajout de nouveaux risques ne nécessite que l'entraînement supplémentaire de têtes de classification légères, permettant une extensibilité native.
Cette architecture peut être utilisée comme un plugin. Par exemple, après avoir ajouté une tête de classification à Llama Guard 3, le score F1 du benchmark de sécurité des requêtes utilisateur a augmenté de 17,6 points de pourcentage. SingGuard-NSFA a atteint l'état de l'art (SOTA) sur trois benchmarks d'évaluation : sécurité des requêtes utilisateur, sécurité des réponses des modèles et généralisation sur différents ensembles de données. Le modèle 0,8B rivalise avec les concurrents de 8B, et le modèle 9B atteint un F1 de 91,29 % sur les tâches de généralisation, avec un meilleur équilibre entre précision et rappel.
L'autre cadre open source, SingGuard, est destiné aux grands modèles multimodaux et est disponible en quatre tailles : 0,8B, 2B, 4B et 8B. Ce cadre utilise les règles de sécurité comme entrée au moment de l'exécution. Différents domaines d'activité peuvent déployer leurs propres lignes rouges sur place, et le modèle effectue des jugements règle par règle en conséquence. Du côté de l'inférence, une division du travail entre rapide et lent est adoptée : la pensée rapide est responsable d'un jugement en quelques secondes à faible latence, tandis que la pensée lente est responsable d'un raisonnement approfondi règle par règle. Les deux sont commutées automatiquement via une sortie anticipée (early exit). Pour faire face au goulot d'étranglement de l'efficacité de l'examen parallèle de plusieurs règles, Ant Group propose RI-Mask, qui code le contexte texte-image partagé une seule fois, permettant le jugement parallèle de plusieurs règles, ce qui peut accélérer le raisonnement multimodal jusqu'à 5 fois ou plus.
SingGuard-NSFA et SingGuard sont respectivement destinés au comportement et à la perception de l'IA, mais ils mettent tous deux l'accent sur l'explicabilité du processus et l'extensibilité face aux nouveaux risques. La règle spécifique enfreinte et sa justification sont traçables, et l'ajout de nouveaux risques ne nécessite qu'une extension légère.
Plus tôt cette année, le laboratoire de sécurité de l'IA d'Ant Group a découvert plusieurs vulnérabilités à haut risque et a aidé les autorités officielles à les corriger. Par la suite, Ant Group, en collaboration avec l'Université Tsinghua, a open sourcé ClawAegis, fournissant aux agents intelligents une solution de sécurité couvrant l'ensemble du cycle de vie du produit. L'open source de ces cadres de sécurité est une continuation de cette approche, passant de la découverte de vulnérabilités aux solutions contextualisées, puis aux cadres sous-jacents réutilisables. Le produit de sécurité pour agents intelligents d'Ant Group a obtenu la note la plus élevée du laboratoire TELECOM de l'Académie chinoise des technologies de l'information et de la communication (CAICT).
Alors que les agents s'intègrent dans les environnements de bureau, de développement et de vie quotidienne, la sécurité de l'IA entrera dans une nouvelle phase. La mise en place d'une infrastructure de sécurité capable de s'adapter en permanence aux risques changeants est la question centrale à laquelle l'industrie devra faire face à l'avenir.
