fr.wedoany.com Rapport : En collaboration avec l'académicien Pan Yunhe de l'Université du Zhejiang et Huawei, MoXin Technology a lancé MoWorld, un modèle de monde interactif en temps réel basé sur un NPU national. Sa vitesse d'inférence dépasse les 50 FPS, et son coût de déploiement ne représente que 30 % de celui d'une solution GPU de taille équivalente.
L'année dernière, les modèles de monde sont devenus un point chaud dans le secteur de l'IA. Un véritable modèle de monde doit comprendre l'espace et prédire l'état suivant, la réactivité en temps réel étant cruciale : une fréquence d'images supérieure à 30 FPS est considérée comme fluide, mais la plupart des modèles existants ne répondent pas à cette exigence.
Récemment, MoXin Technology, spécialisée dans la recherche et l'industrialisation des modèles de monde 4D, a publié MoWorld en collaboration avec l'Université du Zhejiang et Huawei. Il s'agit du premier modèle de monde interactif en temps réel entièrement basé sur un NPU national, avec une vitesse d'inférence supérieure à 50 FPS et un coût de déploiement réduit à 30 % de celui d'une solution GPU de taille équivalente. Le rapport technique a été rendu public, et la page du projet est accessible à l'adresse : https://moxin-tech.github.io/moworld/. Les poids et le code seront bientôt open source, et le service sera fourni via des super-nœuds basés sur des NPU nationaux.
Par rapport aux modèles de génération vidéo, la différence fondamentale des modèles de monde réside dans l'interaction en temps réel. Auparavant, les modèles de monde restaient principalement au stade expérimental académique. Les problèmes clés pour passer de la recherche à l'industrie incluent la capacité d'interaction en temps réel, un déploiement stable et un coût maîtrisé. MoWorld a été lancé dans ce contexte. Après près d'un an de recherche technique conjointe avec l'équipe de Huawei, son actionnaire stratégique, l'équipe de MoXin a résolu plusieurs problèmes clés pour l'application pratique. MoWorld prend en entrée une première image, un texte et une trajectoire de caméra comme conditions, génère des états futurs du monde conformes à l'état de la scène et aux entrées de contrôle, et permet aux utilisateurs d'interagir en temps réel dans le monde généré via un contrôle continu. Il atteint une inférence en temps réel allant jusqu'à plus de 50 FPS sur un NPU national, avec un coût d'inférence extrêmement faible grâce à la conception du système.
Pour un modèle de monde, la qualité de génération est la première étape, mais le coût d'entraînement, l'efficacité d'inférence et la capacité d'interaction en temps réel déterminent la faisabilité du déploiement. MoWorld a optimisé l'ensemble de la chaîne, de la construction des données à l'entraînement du modèle et au déploiement du système. En ce qui concerne les données, l'entraînement d'un modèle de monde nécessite des informations tridimensionnelles telles que des vidéos, du texte, des trajectoires de caméra et la profondeur spatiale, ce que les vidéos Internet ne fournissent pas. Pour y remédier, MoWorld, s'appuyant sur des années de recherche en modélisation 3D et 4D, a construit un système évolutif de production et de gestion des données, améliorant la qualité des corpus grâce à un filtrage multidimensionnel.
Pour atteindre une capacité de déploiement en temps réel, MoWorld a optimisé le système à trois niveaux : entraînement, distillation et inférence. Pendant la phase d'entraînement, en tenant compte des caractéristiques matérielles du NPU national, des stratégies de parallélisme d'attention ultra-dense et de parallélisme de jetons de longue séquence ont été introduites, permettant un entraînement et une inférence sur de longues séquences allant jusqu'à 2000 images. Pendant la phase d'inférence, grâce à l'exécution pipeline, au parallélisme de séquence hiérarchique et à la quantification dynamique à précision mixte, le modèle MoE de 14 milliards de paramètres atteint une inférence en temps réel allant jusqu'à 50 FPS sur une plateforme NPU nationale, avec un coût d'inférence représentant seulement 30 % de celui d'une solution GPU de taille équivalente.
De la construction du moteur de données à l'entraînement sur de longues durées et au déploiement en temps réel à faible coût, MoWorld fait passer les modèles de monde de la simple « capacité de génération » à la « capacité d'interaction et de déploiement ». Prochainement, MoWorld fournira des services via des super-nœuds basés sur des NPU nationaux.
Grâce à sa capacité d'interaction en temps réel, MoWorld passe de la validation technique à une infrastructure d'intelligence spatiale pour de multiples secteurs. En tant que « moteur de simulation spatiale » contrôlable, il offre aux industries une capacité de génération de scènes interactive, déductible et économique.
Dans le domaine des jeux et du divertissement interactif, MoWorld prend en charge un contrôle complet de la caméra à 6 degrés de liberté. Les utilisateurs peuvent naviguer de manière immersive avec les touches W/A/S/D et la souris, avec des scènes prenant en charge une résolution de 1080P ou plus, couvrant les paysages naturels, les mondes animés et les jeux.
Dans le domaine de l'intelligence incarnée et de la conduite autonome, MoWorld fournit un terrain d'entraînement numérique à faible coût et haute fidélité pour les robots et les systèmes de conduite autonome. Il offre notamment aux équipes de conduite intelligente un grand nombre d'environnements de haute précision, permettant à l'IA d'apprendre à interagir avec l'environnement physique dans un monde virtuel.
Dans le domaine de la création cinématographique, MoWorld permet aux créateurs d'ajuster librement les angles de vue, de prévisualiser les effets d'image en temps réel et d'éditer précisément les plans dans le monde virtuel généré, réalisant ainsi des mouvements de caméra de niveau réalisateur.
Dans le domaine des jumeaux numériques et de la reconstruction 3D, les vidéos générées par MoWorld présentent une cohérence géométrique supérieure à la moyenne du secteur. Elles peuvent être directement utilisées pour la reconstruction 3D de scènes intérieures, avec une haute précision, une structure stable et une bonne cohérence spatiale, offrant une solution de haute précision et économique pour les jumeaux numériques, la visualisation architecturale, les salles d'exposition virtuelles, les jeux immersifs, etc.
Le paysage concurrentiel des grands modèles de langage et des modèles de génération vidéo est déjà établi, mais dans le domaine des modèles de monde, il n'existe encore ni leader reconnu ni norme industrielle. Pour les équipes nationales, il s'agit d'une fenêtre d'opportunité importante. MoWorld est le premier produit à boucler complètement la boucle d'entraînement et d'inférence avec un NPU purement national, à atteindre une inférence interactive en temps réel de plus de 50 FPS et à réduire le coût d'inférence à seulement 30 % de celui d'une solution GPU de taille équivalente. Le capital a réagi rapidement : MoXin Technology a récemment finalisé un financement de centaines de millions de dollars américains, avec la participation d'institutions de capital-investissement de premier plan, d'un fonds de réserve stratégique national et de plus d'une dizaine de capitaux industriels. Auparavant, MoXin avait reçu des investissements de fonds tels que Hubble Investment de Huawei et Lianrong Zhidao de Lenovo.
