Des chercheurs de l'Université de Sheffield et de l'Institut Alan Turing ont collaboré pour élaborer un nouveau cadre de construction de l'intelligence artificielle, axé sur la manière dont l'IA peut extraire des connaissances de données diversifiées au-delà de la vision et du langage, afin d'améliorer sa capacité de déploiement dans des scénarios réels. Ce cadre, en tant que guide pratique pour la création et le déploiement de l'IA, vise à rendre la technologie plus efficace pour résoudre des problèmes réels tout en garantissant qu'elle respecte les normes éthiques.

Ce cadre, qui sert de feuille de route pour la construction d'une IA multimodale, a été publié dans la revue Nature Machine Intelligence. Les systèmes d'IA multimodale possèdent la capacité d'apprendre à partir de données multiples telles que le texte, les images, les sons et les lectures de capteurs. Actuellement, la plupart des IA restent limitées à un seul type d'information, comme le texte ou les images, mais les systèmes multimodaux construisent une représentation plus complète du monde en intégrant différentes sources de données. Cependant, les recherches indiquent que la majorité des IA multimodales dépendent encore principalement des données visuelles et linguistiques, ce qui limite dans une certaine mesure leur capacité à relever des défis complexes.

La proposition de ce nouveau cadre offre un soutien puissant aux développeurs industriels et aux chercheurs académiques. Les études montrent que, parmi les articles sur l'IA publiés sur arXiv en 2024, 88,9 % impliquaient deux types de données différents, et la plupart étaient liés à la vision ou au langage. Le professeur Lu Haiping, de l'École d'informatique de l'Université de Sheffield, a souligné : « L'IA a réalisé des progrès significatifs dans les domaines de la vision et du langage, mais le monde réel est bien plus complexe. Pour relever des défis tels que les pandémies, l'énergie durable et le changement climatique, nous avons besoin d'une IA multimodale capable d'intégrer des données plus larges et des expertises spécialisées. » Il a ajouté que cette recherche fournit un plan de déploiement pour les applications d'IA en dehors des laboratoires, en mettant l'accent sur la sécurité, la fiabilité et l'utilité pratique réelle.