fr.wedoany.com Rapport : Les équipes de recherche de l’Université du Zhejiang et de Kuaishou ont présenté MemGUI-Agent, une solution permettant aux agents GUI mobiles de gérer activement la mémoire contextuelle lors de tâches à long terme, évitant ainsi la perte d’informations critiques. Ces équipes, issues du laboratoire APRIL de l’Université du Zhejiang et du département technique principal de Kuaishou, ont également publié en open source le jeu de données MemGUI-3K, qui présente le nombre moyen d’étapes le plus élevé pour les agents GUI sur appareils mobiles. Le modèle MemGUI-8B-SFT, entraîné sur ce jeu de données, a établi de nouveaux records sur les benchmarks de tâches à long terme MemGUI-Bench et MobileWorld pour les modèles utilisant des données ouvertes.
Auparavant, les agents GUI mobiles souffraient d’une dégradation des informations lors de l’exécution de tâches à long terme impliquant plusieurs applications et de nombreuses étapes. Les informations clés obtenues en début de processus, telles que les prix, les contacts, les spécifications ou les dates, étaient diluées, mal retranscrites ou complètement oubliées lors des étapes suivantes. Les agents de style ReAct traditionnels ajoutaient chaque réflexion, action et résultat au contexte, ce qui entraînait deux problèmes : d’une part, une croissance linéaire de l’historique, augmentant continuellement la longueur des entrées et les coûts de calcul ; d’autre part, les faits essentiels étaient noyés dans le bruit, l’agent pouvant se souvenir d’avoir consulté un paramètre sans en retenir la valeur exacte.
Le cœur de MemGUI-Agent est le concept « Context-as-Action » (ConAct), qui élève la gestion du contexte au rang d’action au même titre que les clics, les saisies ou les glissements sur l’interface utilisateur. À chaque étape, l’agent ne se contente pas de produire l’action suivante, mais indique également comment organiser sa mémoire de travail. ConAct décompose le contexte en trois champs structurés : l’historique des actions repliées (Folded Action History), qui conserve une trace compressée des actions passées, le modèle résumant les tâches accomplies en un résumé ; l’état de l’interface utilisateur replié (Folded UI State), qui stocke les faits clés complets de l’interface, comme les numéros de téléphone, les prix des produits ou les paramètres techniques ; et l’enregistrement des étapes récentes (Recent Step Record), qui consigne l’observation, l’intention, l’action et le résultat de l’étape la plus récente.
Les chercheurs ont ensuite construit le jeu de données MemGUI-3K pour entraîner des modèles de plus petite taille. Ce jeu de données, dérivé de 128 tâches de base de MemGUI-Bench, a été enrichi par remplacement d’entités, renforcement des opérations de mémoire et simplification des tâches, aboutissant à 2 956 trajectoires réussies couvrant 26 applications Android et 7 catégories de scénarios fonctionnels, avec 64 430 échantillons SFT. La longueur moyenne des trajectoires est de 28,8 étapes, 65,1 % des trajectoires utilisant au moins une opération de mémoire et 88,7 % incluant au moins un repliement inter-étapes. Ces statistiques montrent que le jeu de données vise à apprendre au modèle à gérer la mémoire de travail dans les tâches à long terme.
Sur le benchmark MemGUI-Bench, MemGUI-Agent-235B (zero-shot) atteint 37,5 % de Pass@1, 62,5 % de Pass@3 et 46,8 % d’IRR, soit une amélioration de 13,3 points de pourcentage pour le Pass@1 par rapport au style ReAct sur la même base 235B. MemGUI-8B-SFT obtient 23,4 % de Pass@1, 35,9 % de Pass@3 et 30,2 % d’IRR sur le même benchmark, soit des gains respectifs de 14,0, 15,6 et 15,1 points par rapport à la baseline Qwen3-VL-8B-Instruct. Sur le benchmark hors distribution MobileWorld GUI-Only, MemGUI-Agent-235B atteint un taux de réussite de 29,1 %, soit 14,6 points de plus que la baseline, tandis que MemGUI-8B-SFT obtient 17,9 %, dépassant les 17,7 % d’OpenMobile-8B.
Les expériences d’ablation des composants montrent que l’ajout individuel d’opérations de mémoire UI, de repliement d’historique ou d’étapes d’auto-description apporte des améliorations, mais que les trois sont indispensables. Le ConAct complet atteint un Pass@1 de 40,0 % sur MemGUI-Bench-40, contre 5,0 % pour la baseline ReAct. L’analyse des échecs révèle que ConAct réduit principalement les hallucinations induites par le contexte, avec une baisse totale des échecs d’environ 41 %, les hallucinations de processus et de sortie étant les plus améliorées. Cette recherche fait passer le problème de mémoire des agents GUI d’un module externe à une stratégie interne au modèle, permettant à l’agent d’apprendre à gérer le processus d’exécution tout en effectuant des actions.
Le premier auteur de l’article est Liu Guangyi, doctorant au laboratoire APRIL de l’Université du Zhejiang, et l’auteur correspondant est le professeur Liu Yong de la même université. MemGUI-Agent est entièrement open source : code, données, modèles, pipelines d’entraînement et d’évaluation sont tous disponibles.
Le goulot d’étranglement des tâches mobiles à long terme réside dans la nécessité pour le modèle de conserver des faits dérivés de l’interface utilisateur à travers les écrans, les étapes et les applications, notamment les prix, les numéros de téléphone, les spécifications des produits, le contenu des publications sur les réseaux sociaux et les textes à copier. L’ajout passif d’un historique n’est ni compact ni fiable. ConAct permet à l’agent de produire à chaque étape cinq sections structurées : réflexion, repliement, appel d’outil, observation UI et intention d’action. Les appels d’outils incluent à la fois des actions UI classiques et des opérations de mémoire, telles que memory_add, memory_update et memory_delete. Cela signifie que la gestion du contexte est effectuée par le même modèle de stratégie multimodal en une seule inférence directe.
Les chercheurs ont constaté que l’application du protocole ConAct à des modèles existants n’améliore pas automatiquement les performances. Des expériences zero-shot sur différentes tailles de modèles Qwen3-VL montrent que seul le plus puissant, Qwen3-VL-235B-Thinking, bénéficie significativement de ConAct, tandis que les modèles plus petits ou le 235B-Instruct voient leurs performances diminuer en mode zero-shot avec ConAct. Cela confirme que la gestion active du contexte n’est pas une simple astuce de prompt : le modèle doit apprendre quand compresser l’historique, quand écrire dans la mémoire UI et comment générer des descriptions d’étapes réutilisables.
Lors de la phase de collecte de données, les auteurs ont utilisé Qwen3-VL-235B-Thinking comme modèle enseignant, exécutant des tâches dans un environnement Android selon le protocole ConAct complet. Ensuite, un filtrage au niveau des trajectoires et un filtrage de plausibilité au niveau des étapes ont permis de garantir l’absence de données redondantes, erronées ou de détours dans les données d’entraînement supervisé.
Ce jeu de données a extrait 57 951 étapes d’entraînement plausibles et 6 479 étapes de test plausibles. Statistiquement, la longueur moyenne des trajectoires de MemGUI-3K est de 28,8 étapes, avec une médiane de 25 étapes ; 23,8 % des repliements sont inter-étapes, c’est-à-dire qu’ils compressent plusieurs étapes en un résumé de sous-tâche.
L’expérience rapporte deux types de configurations d’agents : la première, MemGUI-Agent-235B, conserve les poids de Qwen3-VL-235B-Thinking et utilise le protocole ConAct en mode zero-shot ; la seconde, MemGUI-8B-SFT, part de Qwen3-VL-8B-Instruct et effectue un LoRA SFT sur MemGUI-3K. Sur MemGUI-Bench, MemGUI-Agent-235B atteint 37,5 % de Pass@1, 62,5 % de Pass@3 et 46,8 % d’IRR. Par rapport à la baseline ReAct sur le même backbone 235B, le Pass@1 s’améliore de 13,3 points, le Pass@3 de 15,6 points et l’IRR de 16,8 points. Comparé au workflow agentic piloté par Gemini-2.5-Pro, il obtient également des performances globales supérieures.
Sur MobileWorld GUI-Only, MemGUI-Agent-235B atteint un taux de réussite de 29,1 %, soit 14,6 points de plus que la baseline Qwen3-VL-235B-Thinking. MemGUI-8B-SFT obtient 17,9 %, soit 8,5 points de plus que Qwen3-VL-8B-Instruct, dépassant également les 17,7 % d’OpenMobile-8B.
Les expériences d’ablation des composants ont été menées sur MemGUI-Bench-40. Le Pass@1 de la baseline ReAct n’est que de 5,0 %. L’ajout seul des opérations de mémoire UI porte le Pass@1 à 17,5 % ; l’ajout seul du repliement d’historique le porte à 22,5 % ; l’ajout seul des étapes d’auto-description le porte à 25,0 %. Le ConAct complet permet d’atteindre un Pass@1 de 40,0 %, un Pass@3 de 62,5 % et un IRR de 51,0 %. Ces trois composants traitent des problèmes différents : le repliement d’historique contrôle la croissance du contexte, la mémoire UI conserve les faits précis, et les étapes d’auto-description fournissent une matière première fiable pour les mémoires et repliements ultérieurs.
Les cas d’étude montrent que, dans les tâches GUI mobiles à long terme, les informations clés n’apparaissent souvent que brièvement sur une page intermédiaire, mais l’agent doit continuer à les utiliser avec précision des dizaines d’étapes plus tard, voire après avoir changé d’application. L’approche de MemGUI-Agent consiste à écrire activement les faits clés dans la mémoire UI dès qu’ils sont rencontrés, puis à replier l’historique en un historique compact après avoir terminé une sous-tâche, permettant au modèle de lire directement l’état structuré et d’utiliser les informations précédentes dans les applications suivantes.
La classification des cas d’échec montre que, dans la configuration zero-shot de MemGUI-Bench-40, le ConAct complet réduit le nombre total d’échecs de 99 à 58, soit une baisse d’environ 41 %. Les hallucinations de processus passent de 52 à 30, et les hallucinations de sortie de 30 à 13, avec les améliorations les plus marquées. Cela indique que ConAct résout principalement les hallucinations liées au contexte, tandis que les améliorations concernant les lacunes de connaissances et la compréhension des intentions sont moindres, suggérant que la connaissance des applications, la compréhension des intentions des tâches et la robustesse environnementale du modèle restent des goulots d’étranglement à surmonter.
Pour les tâches d’automatisation mobile à long terme, faire passer le problème de mémoire des agents GUI d’un module externe à une stratégie interne au modèle, permettant à l’agent non seulement d’exécuter des actions, mais aussi d’apprendre à gérer le processus d’exécution lui-même, constitue une étape importante pour passer de la simple capacité à cliquer à celle de mener à bien des tâches.
