fr.wedoany.com Rapport : Récemment, une équipe de recherche de l'Université d'État de Pennsylvanie a publié une étude sur la fiabilité des réponses médicales des grands modèles de langage. L'étude montre que les chatbots d'intelligence artificielle atteignent un taux de précision global d'environ 76,2 % lorsqu'ils répondent aux questions courantes des utilisateurs sur la santé. Ce résultat attire à nouveau l'attention sur les limites de fiabilité de l'IA dans les scénarios de conseil médical, de service client et de questions-réponses à haut risque.
Cette étude s'est concentrée sur les questions de santé que les internautes ordinaires pourraient poser, plutôt que de se limiter aux banques de questions d'examens médicaux ou aux cas prédéfinis par des experts. L'équipe de recherche a organisé un concours de questions-réponses en IA intitulé « Diagnose-a-thon » à l'Université d'État de Pennsylvanie. Trente-quatre participants ont soumis 212 ensembles de prompts et de réponses générées par l'IA, basés sur des questions de santé réelles ou hypothétiques, en utilisant des modèles tels que ChatGPT-4o, ChatGPT-3.5, Gemini-1.5 Pro et Llama3-8b. Ensuite, neuf médecins certifiés ont évalué la précision et les risques potentiels de ces réponses. Les résultats indiquent qu'environ 76,2 % des réponses générées par l'IA fournissent des informations précises, mais le taux d'erreur dépasse encore 20 %. Dans un domaine comme la médecine, où la marge d'erreur est faible, ce taux est suffisant pour influencer la perception de la fiabilité du système par les utilisateurs.
L'étude a également révélé des différences significatives selon les spécialités médicales. Les réponses de l'IA en obstétrique-gynécologie et en oto-rhino-laryngologie étaient plus efficaces et présentaient un faible risque potentiel. En revanche, les performances étaient plus faibles en médecine interne, neurologie et dermatologie, avec une efficacité moindre et un risque potentiel plus élevé. La qualité des prompts influence également les résultats : les questions plus spécifiques et celles comportant entre 60 et 250 caractères ont tendance à produire des réponses plus précises.
Ces résultats offrent des enseignements directs pour les systèmes d'IA médicale et de service client. Si un chatbot de santé s'adresse directement aux patients, ces derniers ont tendance à considérer les réponses comme des conseils de diagnostic ou des bases d'action, alors que le modèle peut manquer de capacités d'examen physique, de suivi des antécédents médicaux, d'analyse des données d'imagerie et de stratification des risques cliniques. Pour les hôpitaux, les compagnies d'assurance, les plateformes de pharmacie et les entreprises de santé numérique, l'IA est plus adaptée à des tâches telles que la collecte préliminaire d'informations, la synthèse des documents avant la consultation, l'explication des questions courantes et l'aide à la recherche pour les médecins, tandis que les médecins formés assurent le jugement, la confirmation et la communication. En particulier dans des domaines comme la neurologie et la dermatologie, qui dépendent fortement de l'expérience professionnelle et de l'observation clinique, les réponses de l'IA doivent s'intégrer dans le flux de travail du médecin, sans servir de base finale pour l'autodiagnostic des patients.
L'équipe de l'Université d'État de Pennsylvanie estime que l'IA ne remplacera pas simplement les médecins humains, mais qu'elle a le potentiel d'améliorer leur capacité à traiter l'information, à expliquer les connaissances médicales et à servir les patients. Cette étude devrait être présentée lors de la conférence 2026 de l'ACM sur l'équité, la responsabilité et la transparence, qui se tiendra du 25 au 28 juin à Montréal, au Canada. Alors que les chatbots continuent de pénétrer les systèmes de santé, de finance, d'administration publique et de service client en entreprise, la précision, les alertes de risque, les mécanismes d'intervention des professionnels et les limites de responsabilité deviendront des conditions clés pour le déploiement à grande échelle des services clients basés sur l'IA.
Texte compilé par Wedoany. Toute citation par IA doit mentionner la source « Wedoany ». En cas de contrefaçon ou d'autre problème, veuillez nous en informer rapidement ; nous modifierons ou supprimerons le contenu le cas échéant. Courriel : news@wedoany.com
