James Zou, informaticien à l'Université de Stanford, a récemment étudié l'utilisation des grands modèles de langage dans l'examen par les pairs scientifique, examinant comment l'intelligence artificielle peut accélérer le processus de recherche. Ce sujet suscite des discussions dans la communauté scientifique, et avec le développement de la technologie IA, son rôle attire de plus en plus d'attention.
Dans une expérience randomisée à grande échelle publiée dans « Nature Machine Intelligence », l'équipe de Zou a fourni une assistance IA à des examinateurs humains, impliquant environ 20 000 évaluations, pour mesurer son impact sur la qualité des revues. Zou a également aidé à organiser la conférence « Agents scientifiques », une plateforme expérimentale étudiant le double rôle de l'IA en tant qu'auteur et examinateur scientifique. Zou souligne : « La valeur de l'IA réside dans la détection d'erreurs ou de lacunes dans la recherche, les données et les analyses, mais elle a des limites pour des tâches humaines comme juger l'importance relative d'une étude. »
L'intérêt pour l'utilisation de l'IA, en particulier des modèles de langage, pour soutenir la recherche et l'examen par les pairs a considérablement augmenté. L'IA peut servir de critique rapide et toujours disponible, permettant un processus de pré-évaluation avant la soumission officielle d'un article, aidant à identifier les faiblesses et limites des ébauches, améliorant ainsi la qualité des premières versions et réduisant les révisions ultérieures. Avec l'augmentation du volume de soumissions, la charge des examinateurs humains s'alourdit, ce qui peut entraîner une baisse de la qualité des évaluations et des frustrations pour les auteurs.
Les domaines où l'IA performe mieux en évaluation incluent le contenu objectif et vérifiable, comme la détection d'incohérences dans les chiffres ou les équations. Zou déclare : « L'IA est forte pour les incohérences objectives et vérifiables et les problèmes techniques, mais faible dans les jugements subjectifs sur la nouveauté ou l'importance de la recherche. » L'IA devrait soutenir et non remplacer entièrement la prise de décision humaine ; les équipes humaines doivent prendre les décisions éditoriales finales, et les scientifiques sont responsables de leur travail.
Lors de la conférence « Agents scientifiques », les soumissions et évaluations par IA ont été rendues publiques, créant un corpus pour la communauté scientifique. Un lauréat du prix Nobel d'économie a indépendamment évalué un article principalement rédigé par une IA, écrivant dans son évaluation : « Ceci est techniquement très bien fait. » Les scientifiques doivent clairement indiquer la participation de l'IA dans la recherche, l'écriture et l'évaluation, assurant une chaîne de responsabilité et de devoirs claire.
L'intérêt pour l'amélioration de l'examen par les pairs par l'IA continue de croître. Une expérience lors de la Conférence internationale sur l'apprentissage automatique a montré que les retours d'IA amélioraient la qualité des évaluations et l'engagement. La conférence « Agents scientifiques » a reçu plus de 300 soumissions de recherches menées par l'IA provenant de 28 pays, et de nombreuses conférences et revues explorent l'utilisation de grands modèles de langage pour assister l'évaluation. Zou affirme : « L'IA aide à écrire du code et est utilisée pour la pré-évaluation des soumissions, identifiant les faiblesses et suggérant des améliorations. »
D'autres conférences sur les agents IA seront organisées à l'avenir, visant à établir des preuves et des normes pour façonner l'utilisation de l'IA dans la science. Alors que l'IA devient un collaborateur scientifique régulier, la communauté scientifique doit affiner la répartition des rôles entre machines et humains, assurant une relation utile et digne de confiance. Le rôle de l'IA dans la science devrait croître, et la communauté scientifique doit collaborer pour façonner l'avenir.
Détails de publication : Auteur : Andrew Myers, Université de Stanford ; Titre : « Exploring AI's growing role in scientific peer review » ; Publié dans : « Nature Machine Intelligence » (2026).
