Daxiao Robotics publie le plus grand jeu de données 3D de maisons chinoises en open source

fr.wedoany.com Rapport : Le 5 juin, Daxiao Robotics, en collaboration avec le Multimedia Laboratory de l'Université chinoise de Hong Kong (MMLab, CUHK) et le Hetao Shenzhen Institute, a dévoilé les résultats de ses recherches sur le modèle du monde, Kairos-HomeWorld, le premier cadre unifié au monde permettant la génération complète de maisons et l'interaction totale avec des objets individuels.

Les technologies existantes de génération de scènes intérieures ne couvrent qu'une seule pièce, manquant de cohérence globale et d'opérabilité. Kairos-HomeWorld a franchi ce goulot d'étranglement industriel. Ce modèle adopte une architecture de génération hiérarchique en quatre étapes : « structure globale — détails locaux — vérification en boucle fermée — interaction renforcée », réalisant pour la première fois la génération de bout en bout de scènes tridimensionnelles complètes de maisons, à partir d'un seul texte, avec une cohérence structurelle globale, une conformité physique totale et des objets interactifs, redéfinissant ainsi le paradigme technique de la génération de scènes intérieures.

En matière d'entraînement des robots domestiques, Kairos-HomeWorld s'appuie sur le modèle pour générer en masse des scènes de simulation variées de foyers chinois ainsi que des objets dotés de propriétés physiques interactives. Les robots peuvent ainsi effectuer divers entraînements aux tâches ménagères dans un environnement virtuel, avec un coût marginal quasi nul pour les nouvelles scènes, éliminant les dépenses réelles liées à la maintenance des lieux et à l'usure des meubles. Par ailleurs, cette méthode n'est pas limitée par le nombre réel de logements disponibles, offrant une efficacité d'entraînement et une capacité de mise à l'échelle supérieures à celles des approches de collecte sur le terrain.

Kairos-HomeWorld est déjà utilisé pour l'entraînement quotidien des robots incarnés de Daxiao Robotics, prenant en charge la simulation complète de tâches ménagères complexes et de longue durée, telles que la navigation entre les pièces et le rangement d'objets dans plusieurs pièces, réduisant ainsi le cycle de transition de la simulation virtuelle à la mise en œuvre réelle.

L'équipe de recherche a également publié en open source le plus grand jeu de données 3D au monde, spécialement conçu pour les foyers chinois. Ce jeu de données comprend 300 000 plans d'étage réels de logements, annotés de manière structurée, 5 000 scènes de maisons complètes avec agencement intérieur et mobilier, ainsi que 50 000 actifs d'objets prenant en charge la simulation physique et les opérations interactives, couvrant divers types de logements typiques à travers la Chine, reproduisant fidèlement les caractéristiques des foyers chinois.

Parmi ceux-ci, les 300 000 plans d'étage réels proviennent tous de logements réels sur le marché chinois. Après un processus de traitement automatisé en plusieurs étapes, ils ont été vectorisés et annotés de manière structurée, incluant des informations complètes telles que l'emplacement des portes et fenêtres, la géométrie des pièces, la répartition fonctionnelle et les relations de connectivité. Il s'agit actuellement du plus grand ensemble de données de plans d'étage réels au monde. Les scènes de maisons complètes avec meubles et objets générées à partir de cet entraînement comprennent un agencement complet de meubles pour chaque logement. Grâce au modèle Physx-Omni, plus de 15 objets interactifs dotés de propriétés physiques (incluant densité, articulation, variété, etc.) sont automatiquement générés en moyenne par scène, tous pouvant être directement importés dans un moteur de simulation pour un entraînement interactif.