fr.wedoany.com Rapport : Avec le passage de l’intelligence artificielle (IA) générative de la phase de preuve de concept (PoC) à une exploitation réelle des services, les défis auxquels les entreprises sont confrontées ne se limitent plus à l’amélioration des performances des modèles, mais s’étendent désormais à la gestion du contenu et du comportement générés par l’IA. Dans un contexte où l’IA s’intègre pleinement aux activités et aux services, les réponses erronées, les problèmes de sécurité et les pannes imprévues se transforment directement en risques pour l’entreprise, faisant de « l’observabilité des LLM » un nouveau sujet dans le domaine informatique des entreprises.
Lors d’un entretien vidéo avec ZDNet Korea le 26, Ko Ji-hoon, responsable de l’équipe des applications chez WhaTap Labs, et le développeur Shin Min-cheol ont souligné les changements auxquels les entreprises doivent faire face à l’ère de l’IA générative, ainsi que l’importance de l’observabilité des LLM. Ko Ji-hoon a indiqué que, même si les réponses sont fournies par l’IA, les clients les considèrent en fin de compte comme des informations officielles de l’entreprise. Par conséquent, lors de la phase d’exploitation des services d’IA, un système de gestion continue de la qualité et de la fiabilité des réponses est indispensable.
Le cas d’Air Canada montre que les entreprises doivent assumer la responsabilité des réponses de leur IA. Le chatbot de la compagnie avait informé un client d’une réduction inexistante sur un produit. Le client a acheté un billet sur cette base, mais sa demande de réduction a été refusée, ce qui a donné lieu à un litige juridique. Le tribunal canadien a jugé que, même si la réponse provenait de l’IA, la responsabilité des informations publiées incombait à l’entreprise. Air Canada a donc perdu le procès, subissant des pertes financières et une atteinte à sa réputation. Shin Min-cheol a souligné que les cas où les réponses des chatbots IA sont considérées comme la position officielle de l’entreprise se multiplient, et qu’une seule réponse erronée peut directement entraîner des pertes économiques et une baisse de la crédibilité de la marque.
Ko Ji-hoon a ajouté que, jusqu’à l’année dernière, la plupart des entreprises en étaient encore au stade de l’expérimentation pilote de l’IA, mais que, depuis cette année, les cas d’application réelle dans les services, notamment dans les secteurs financier, public et des entreprises, augmentent rapidement. Cependant, de nombreuses entreprises lancent leurs services sans disposer d’un système d’observation de la qualité des réponses.
Les outils de surveillance existants peinent à détecter les erreurs de réponse de l’IA. Même si les indicateurs des serveurs et du réseau sont normaux, il est impossible de savoir quand l’IA produit des réponses erronées. Ko Ji-hoon a expliqué que les entreprises peuvent être confrontées à un nouveau type de problème : un CPU et une mémoire normaux, mais une augmentation soudaine des plaintes des clients. La seule surveillance de l’infrastructure ne permet pas de détecter les anomalies de qualité des réponses. Parallèlement, les menaces de sécurité évoluent également sous de nouvelles formes. Avec la capacité des agents IA à exécuter du code et à contrôler des systèmes, les attaques par « injection de prompt », qui consistent à induire l’IA à effectuer des actions non prévues via des entrées malveillantes, sont devenues une réalité. Lors d’expériences internes, WhaTap Labs a également connu un incident où, sans entrée malveillante, une erreur de jugement de l’IA a entraîné la suppression complète d’un dossier sur un PC de développement. Shin Min-cheol a expliqué que les LLM sont passés d’une simple génération de texte à une forme d’agent capable d’appels de fonctions, d’exécution de code et de contrôle de systèmes externes, et qu’une seule entrée de prompt peut être directement liée à une opération réelle du système.
Pour faire face à ces problèmes, WhaTap Labs a lancé une solution d’observabilité des LLM. Cette solution analyse de manière corrélée l’ensemble du processus, de l’utilisation des ressources GPU aux performances des applications et à la qualité des réponses de l’IA, en gérant de manière unifiée les erreurs et les pannes survenant dans l’environnement d’exploitation des services. Les principaux éléments de surveillance incluent : la pertinence et l’exactitude des réponses de l’IA, les hallucinations (c’est-à-dire la fabrication d’informations inexistantes par l’IA), les attaques par injection de prompt, la présence d’informations personnelles, les chemins de réponse inutiles, ainsi que l’efficacité des tokens et des ressources GPU. Cette solution est particulièrement adaptée aux institutions financières et publiques nationales qui construisent leurs propres modèles d’exploitation GPU en raison de contraintes de sécurité les empêchant d’utiliser des services d’IA externes. Il est expliqué que, dans un environnement de modèle d’exploitation GPU auto-construit, les tokens utilisés pour les réponses de l’IA sont directement liés aux ressources GPU, et que l’optimisation des chemins de réponse peut simultanément améliorer les performances de traitement et l’efficacité des coûts. Shin Min-cheol a souligné que les entreprises exploitant des services d’IA doivent disposer d’un système permettant de surveiller, sur une plateforme unique, la qualité des réponses jusqu’aux menaces de sécurité, ce qui constitue une infrastructure essentielle pour maintenir la crédibilité du service. Ko Ji-hoon a prédit qu’à l’avenir, le rôle des opérateurs passera de l’analyse directe des données à la conception de garde-fous pour un fonctionnement sûr de l’IA, et qu’un système unifié d’observation de l’infrastructure, des applications et des modèles d’IA déterminera la compétitivité des entreprises.
Texte compilé par Wedoany. Toute citation par IA doit mentionner la source « Wedoany ». En cas de contrefaçon ou d'autre problème, veuillez nous en informer rapidement ; nous modifierons ou supprimerons le contenu le cas échéant. Courriel : news@wedoany.com
