fr.wedoany.com Rapport : L'équipe Orca du RoboBrain de l'Institut de recherche sur l'intelligence artificielle de Pékin (BAAI) a publié le rapport technique « Orca: The World is in Your Mind », visant à explorer une approche où le modèle apprend d'abord une représentation unifiée de l'état du monde, puis en déduit des capacités de compréhension, de prédiction et d'action. La page d'accueil du projet est https://orca-wm.github.io, et le rapport technique complet est disponible sur https://arxiv.org/abs/2606.30534. Cette publication a suscité l'intérêt de la communauté de recherche internationale, les discussions se concentrant sur le « modèle du monde à représentation multimodale », considérant qu'Orca tente d'apprendre les états communs et les lois d'évolution derrière différentes modalités dans un espace latent unifié du monde. Certains commentateurs ont souligné qu'Orca se rapproche davantage de la forme des premiers modèles universels du monde, c'est-à-dire apprendre d'abord comment le monde change, puis appliquer cette représentation à des tâches en aval. Orca a également été classé dans le classement mensuel Daily Papers.
Le concept central d'Orca est la « prédiction de l'état suivant (Next-State Prediction) », c'est-à-dire que le modèle se concentre sur l'état actuel du monde et sur la manière dont cet état se transforme en un autre sous l'effet de l'évolution naturelle, de conditions événementielles ou d'interventions externes. L'équipe a abstrait l'apprentissage en deux catégories : l'apprentissage inconscient (Unconscious Learning) qui apprend les changements d'état naturels et denses à partir de vidéos continues ; l'apprentissage conscient (Conscious Learning) qui introduit le langage et les événements, rendant les transitions d'état conditionnées par des contraintes sémantiques. Les deux types d'apprentissage contribuent ensemble à la construction de variables latentes du monde capables d'exprimer l'état du monde et de soutenir la modélisation des transitions d'état.
Dans le premier type d'apprentissage inconscient, le modèle apprend les changements d'état à partir de vidéos continues, sans dépendre d'annotations linguistiques explicites, par exemple le mouvement d'objets, le contact main-objet, l'évolution de la scène au fil du temps. Le deuxième type d'apprentissage conscient introduit des contraintes linguistiques et événementielles, permettant au modèle d'établir des liens entre les conditions linguistiques et l'observation actuelle, apprenant des changements d'état plus rares mais plus significatifs.
Les deux types d'apprentissage contribuent ensemble à la construction d'une variable latente du monde capable d'exprimer l'état du monde et de soutenir la modélisation des transitions d'état.
L'équipe Orca a construit un pipeline automatisé de filtrage et d'annotation, traitant à partir de données Internet une base de données de 125 000 heures de vidéo, 160 millions d'annotations d'événements et 11,5 millions de questions-réponses visuelles (VQA). Les données couvrent diverses sources telles que les interactions en première personne, les manipulations d'objets en troisième personne, les vidéos d'exécution robotique, les scènes dynamiques naturelles, les transitions d'état au niveau des événements et les questions-réponses visuelles générales, afin d'apprendre un espace latent unifié du monde à partir de signaux du monde réel.
En ce qui concerne l'infrastructure d'entraînement, l'équipe du BAAI a procédé à une refonte systémique basée sur son framework propriétaire FlagScale, incluant une mise à niveau vers FSDP2, une perte d'entropie croisée par blocs (Chunked Cross-Entropy Loss) et une optimisation de la prélecture avant/arrière. Sur un cluster H100, ces optimisations ont porté le débit d'entraînement à 2,91 échantillons/seconde/GPU, réalisant une accélération de 4,4 fois par rapport à la ligne de base StarVLA.
Pour valider l'efficacité de la représentation du monde, l'équipe Orca a gelé le réseau principal en phase aval, n'entraînant que des modules de lecture légers. L'expérience a conçu trois types de lecture : la lecture textuelle (Text Readout) pour vérifier si le modèle peut transformer la représentation du monde en capacités de compréhension et de raisonnement ; la lecture d'image (Image Readout) pour vérifier si le modèle peut prédire l'état visuel futur en fonction de l'état actuel et des conditions ; la lecture d'action (Action Readout) pour vérifier si le modèle peut transférer la représentation du monde au contrôle réel d'un robot. Ces trois types de capacités correspondent respectivement à la compréhension, la prédiction et l'action.
Les résultats expérimentaux montrent qu'avec l'augmentation de la taille des données de pré-entraînement, la perte d'entraînement d'Orca diminue continuellement, et les points de contrôle à différents stades d'entraînement montrent une amélioration simultanée des performances de lecture textuelle, d'image et d'action. Tous les résultats de comparaison proviennent du même ensemble de points de contrôle du réseau principal pré-entraîné, sans utilisation de données de « leaderboard hacking ».
Dans les tâches de génération de texte et de questions-réponses visuelles, Orca, à une échelle de 4B, a obtenu des performances moyennes plus élevées par rapport à divers modèles de langage visuel et modèles du monde, les améliorations se concentrant sur les dimensions de la transition d'état, de l'évolution des événements et de la compréhension du mouvement dynamique.
Dans les expériences de lecture d'image, la lecture d'image d'Orca met l'accent sur la plausibilité de l'état futur, préservant mieux la morphologie du robot, la disposition des objets, la cohérence de la scène et les contraintes des instructions.
Dans les expériences de lecture d'action sur robot réel, Orca n'a pas utilisé de trajectoires robotiques avec étiquettes d'action pendant la phase de pré-entraînement. En phase aval, le réseau principal d'Orca a été gelé, et seul un expert d'action de style DiT, entraîné à partir de zéro, a été connecté, chaque tâche utilisant 200 trajectoires intra-domaine pour le post-entraînement. Les résultats montrent que dans les tâches hors distribution (OOD) de généralisation d'objets et de scènes, Orca apporte toujours des gains significatifs.
Les expériences d'ablation montrent que les trois objectifs d'entraînement — transition d'état inconsciente, transition d'événement consciente et supervision linguistique VQA — jouent chacun un rôle différent.
L'équipe Orca a discuté des limitations actuelles dans le rapport technique. Le rapport souligne qu'un modèle du monde ne devrait pas être défini par un seul type de modalité de sortie, mais devrait apprendre comment le monde est représenté, comment il change, et comment cette représentation peut soutenir la compréhension, la prédiction et l'action. Cette approche pourrait également servir à l'avenir dans des domaines tels que les systèmes physiques, les processus biologiques, l'univers macroscopique, le monde quantique microscopique et les expériences scientifiques. Différents domaines nécessitent différentes données et méthodes de modélisation, mais la question « comment l'état du monde change-t-il ? » a elle-même une signification plus fondamentale.
