fr.wedoany.com Rapport : L’université de New York, en collaboration avec AMI, la start-up fondée par Yann LeCun, a publié les derniers résultats de la série JEPA, AdaJEPA, proposant un modèle du monde capable d’apprentissage continu en phase de déploiement.
Contrairement aux modèles du monde traditionnels dont les paramètres sont figés après le pré-entraînement, AdaJEPA adopte un mécanisme d’adaptation en temps réel lors des tests, ajustant les paramètres de l’encodeur et du prédicteur du modèle du monde pendant l’interaction avec l’environnement, permettant ainsi un apprentissage continu.
Le processus central d’AdaJEPA est une boucle fermée composée de la planification, de l’exécution, de l’observation, de la mise à jour et de la replanification. Le système n’exécute à chaque fois que la première action planifiée par le contrôle prédictif du modèle, puis utilise l’état de l’image suivante renvoyé par l’environnement réel comme signal d’auto-supervision pour mettre à jour le modèle du monde en ligne. Ainsi, le modèle utilisé pour la prochaine planification n’est plus la version figée au moment du déploiement, mais un modèle calibré par l’environnement actuel.
Cette approche est similaire à l’architecture Dyna de l’apprentissage par renforcement classique, où le modèle n’est pas entraîné en une seule fois, mais se corrige constamment en fonction de sa compréhension de l’environnement lors des interactions réelles.
Jusqu’à présent, les modèles du monde dans l’espace latent basés sur la voie JEPA figent par défaut les paramètres après l’entraînement. Le processus complet est le suivant : le modèle apprend d’abord à compresser les images haute dimension dans un espace latent à partir de trajectoires hors ligne, puis prédit les états futurs dans cet espace latent. En phase de test, le contrôle prédictif du modèle utilise ce modèle figé pour « imaginer » le futur dans l’espace latent, optimiser la séquence d’actions, et n’exécute que la première action dans l’environnement réel.
Le défi de cette méthode est que, lorsque l’environnement change, le modèle du monde figé peut devenir inexact. Face à un décalage de distribution lors des tests, des actions qui semblent atteindre l’objectif dans l’espace latent peuvent produire des écarts dans l’environnement réel. Comme le contrôle prédictif du modèle repose sur une planification à court terme, les erreurs ponctuelles sont amplifiées lors des itérations suivantes.
Pour résoudre ce problème, l’article propose le cadre AdaJEPA, dont l’idée centrale est que le modèle du monde ne doit pas être fixe après l’entraînement, mais doit, comme un agent réellement déployé, se calibrer en utilisant de nouvelles expériences tout en agissant.
Le cycle d’AdaJEPA se décompose en quatre étapes. La première est la planification : le modèle encode l’observation actuelle en un état latent, utilise le modèle du monde actuel pour le contrôle prédictif du modèle, effectue des prédictions dans l’espace latent et trouve une séquence d’actions la plus proche de l’état cible. La deuxième est l’exécution : le modèle n’exécute que la première action, puis l’environnement réel renvoie l’observation suivante. La troisième est la mise à jour : le système stocke cette transition d’état réel dans un tampon en ligne, le modèle prédit l’état latent suivant à partir de l’observation et de l’action, l’aligne avec l’état latent encodé à partir de l’état réel prédit, et met à jour les paramètres par calcul de gradient. La quatrième est la replanification : le modèle du monde mis à jour entre immédiatement dans le prochain cycle de contrôle prédictif du modèle.
En termes de détails d’implémentation, la base d’AdaJEPA reste l’architecture de prédiction conjointe par plongement. Contrairement aux modèles du monde traditionnels qui prédisent au niveau des pixels, l’architecture de prédiction conjointe par plongement ne prédit pas directement l’image future, mais comprime l’image dans un espace latent plus compact et ne prédit que l’état futur dans cet espace latent. Le modèle entier est composé de trois composants principaux : un encodeur d’état, un encodeur d’action et un prédicteur.
La mise à jour en ligne se fait dans l’espace latent. Après chaque exécution d’action, le système stocke la transition d’état réel dans un tampon en ligne, dont la capacité par défaut est les N dernières transitions. Lors de la mise à jour, le modèle prédit l’état latent au moment suivant à partir de l’observation et de l’action actuelles, et l’aligne avec l’état latent encodé à partir de l’observation réelle suivante. Pour éviter que la mise à jour en ligne ne détruise l’espace de représentation original, l’article impose deux restrictions : utiliser un stop-gradient sur la représentation cible et ne mettre à jour qu’un petit nombre de paramètres. Dans les expériences, seules les dernières couches de l’encodeur visuel et du prédicteur sont mises à jour par défaut, et chaque replanification du contrôle prédictif du modèle n’effectue qu’une seule descente de gradient.
Pour valider l’effet de l’adaptation en temps réel lors des tests, l’article a mené des expériences sur deux bancs d’essai : PushT/PushObj et PointMaze. Dans le test de formes non vues de PushObj, AdaJEPA a presque doublé le taux de réussite de la planification. Dans le test de dispositions non vues de PointMaze, le taux de réussite de la planification GD est passé de 53,3 % à 78,7 %, et celui de la planification CEM de 49,3 % à 70,7 %.
Il est à noter que la latence supplémentaire due à cette mise à jour en ligne est faible. Comme seules les dernières couches de l’encodeur visuel et du prédicteur sont mises à jour, et que chaque replanification n’effectue qu’une seule descente de gradient, la latence supplémentaire n’est que de 0,01 à 0,03 seconde. Cela montre qu’AdaJEPA n’obtient pas une augmentation du taux de réussite par un entraînement en ligne lourd, mais ajoute un mécanisme léger d’« auto-calibrage en phase de déploiement » au modèle du monde existant.
L’auteur de l’article, Ying Wang, est actuellement doctorant au CILVR Lab du Center for Data Science de l’université de New York, spécialisé dans les modèles du monde, sous la direction de Mengye Ren et Yann LeCun. L’auteure Oumayma Bounou est chercheuse postdoctorale à l’université de New York, ses intérêts de recherche incluent les modèles du monde, le contrôle et l’optimisation, et elle collabore actuellement avec LeCun sur les modèles du monde. Mengye Ren, professeur adjoint en informatique et science des données à l’université de New York, et Yann LeCun, lauréat du prix Turing, sont les auteurs superviseurs.
Lien de référence : https://arxiv.org/pdf/2606.32026
