JD.com présente à la WAIC la gamme complète de modèles JoyAI, la chaîne de collecte et d’entraînement de données incarnées

fr.wedoany.com Rapport : JD.com a présenté pour la première fois à la Conférence mondiale sur l’intelligence artificielle (WAIC) l’ensemble de ses modèles JoyAI, la chaîne de collecte et d’entraînement de données incarnées, ainsi que l’AI Home basée sur JoyInside, marquant l’extension de l’IA physique de la compréhension du contenu numérique vers la perception de l’environnement physique, la prise de décision en temps réel et l’exécution concrète.

À la WAIC, JD.com a dévoilé sa « gamme complète » de modèles JoyAI destinés au monde physique, couvrant la voix, l’image, la vidéo, l’interaction en temps réel et l’intelligence incarnée. Côté vision, le modèle open source JoyAI-Image-Edit permet le changement de perspective et la navigation spatiale, JoyAI-Echo maintient la cohérence des longues vidéos grâce à la mémoire cross-modale, et JoyAI-VL-Interaction réduit la compréhension et la réponse à l’échelle de la milliseconde. Le dernier modèle d’édition vidéo en temps réel, JoyAI-Video-Edit, permet aux utilisateurs de modifier l’image en temps réel pendant l’aperçu. En interaction vocale, JD.com a publié le modèle de base JoyAI-Voice et le nouveau modèle d’interaction vocale JoyAI-Talker, capable de reconnaître les émotions et les intentions réelles des utilisateurs, avec une faible latence et une capacité d’interruption à tout moment. Pour l’exécution de la décision à l’action, JD.com a présenté le modèle de base de contrôle mobile JoyAI-RA, qui aligne les opérations humaines de différents robots via un cadre d’entraînement unifié.

Pour soutenir le fonctionnement de l’IA physique dans le monde réel, JD.com a construit la première infrastructure de données incarnées au monde couvrant l’ensemble de la chaîne : collecte, stockage, annotation, entraînement, évaluation, simulation et test. Actuellement, 600 000 personnes participent à la collecte de données, et le plus grand centre de collecte de données incarnées au monde a été établi, avec pour objectif de collecter 10 millions d’heures de données humaines réelles en deux ans. À la WAIC, JD.com a ouvert le plus grand ensemble de données à la première personne du secteur, EgoLive, comprenant 2 000 heures de vidéo et 65 866 épisodes, couvrant 346 tâches du monde réel. Les visiteurs peuvent porter le terminal de collecte ultra-haute définition JoyEgoCam, effectuer des tâches devant les étagères, et les données, après annotation automatique et traitement structuré, sont envoyées dans un environnement de jumeau numérique pour l’entraînement, puis déployées sur des robots physiques, formant une boucle complète.

JD.com a également encapsulé les capacités du grand modèle JoyAI dans le système d’IA matériel intelligent JoyInside, connectant la perception, la compréhension, la mémoire et l’interaction pour gérer la reconnaissance vocale, la compréhension des intentions, la mémoire à long terme et la coordination multi-appareils dans les scénarios domestiques. À la WAIC, un matelas intelligent équipé de JoyInside a été présenté, capable de détecter les signes vitaux du sommeil et de poser des questions de manière proactive ; ainsi qu’une lampe de projection AI JoyInside, qui, grâce à une projection sans écran et à une correction multimodale des exercices, permet des réponses et des corrections en temps réel. Actuellement, le nombre moyen de tours de dialogue des appareils intelligents connectés à JoyInside a augmenté de plus de 120 %, et la couverture de la coopération s’étend à près de 200 marques dans les secteurs de l’électroménager, des robots et des jouets AI, avec pour objectif de connecter plus de 10 millions de terminaux cette année.