fr.wedoany.com Rapport : Le chinois Rockchip et le fournisseur de services d'interaction en temps réel Agora ont conjointement lancé une solution standardisée de contrôle parallèle pour robots. Cette solution repose sur les puces principales pour robots de Rockchip, les RK3588 et RK3576, comme base matérielle. Elle est profondément adaptée au framework multimédia propriétaire Rockit et intègre les capacités RTC audio/vidéo et de messagerie en temps réel RTM d'Agora. Dans les environnements réseau 4G, 5G et Wi-Fi, la latence de bout en bout de cette solution est stable et inférieure à 200 millisecondes, avec une latence réseau médiane de seulement 76 millisecondes, offrant ainsi une capacité standardisée de transmission d'images à distance et d'intervention humaine en temps réel pour toutes les catégories de robots.
Le marché actuel des robots de service connaît une croissance rapide, avec une forte demande pour des équipements tels que les robots quadrupèdes, les robots tondeuses et les robots d'inspection industrielle. Le contrôle parallèle est un besoin essentiel pour réaliser l'intégration homme-machine dans la robotique, mais le secteur est confronté à des problèmes courants tels que des solutions de communication fragmentées, des cycles de développement longs et une perte d'efficacité du contrôle dans les environnements réseau dégradés. La solution matérielle-logicielle conjointe annoncée aujourd'hui, s'appuyant sur la puissance de calcul des puces sous-jacentes de Rockchip, ouvre une chaîne complète allant du terminal au cloud, visant à réduire les coûts de développement pour les fabricants.
Le contrôle parallèle constitue la base de sécurité pour le déploiement à grande échelle des robots. Les capacités de navigation autonome et d'évitement d'obstacles des robots peuvent gérer les scénarios courants, mais dans des situations imprévues comme des débris dans une usine, des pentes extérieures ou des obstacles soudains à la maison, une intervention humaine à distance est nécessaire. Dans des environnements réels complexes, l'intervention humaine ultime est un besoin à long terme, et le contrôle parallèle est une garantie de sécurité pour la commercialisation des robots. Auparavant, les fabricants développaient souvent leurs propres chaînes de communication, avec des cycles de débogage pouvant durer plusieurs mois, et étaient sujets à des saccades d'image et à des pertes de commandes dans les environnements réseau dégradés. Les RK3588 et RK3576 de Rockchip sont déjà devenus les puces de contrôle principales dominantes pour les robots dans l'industrie. Cette optimisation conjointe au niveau matériel permet aux appareils équipés de cette série de puces de disposer nativement de capacités de contrôle à distance stables.
Cette solution n'est pas une simple interface de connexion, mais une optimisation conjointe de toute la chaîne, du jeu d'instructions des puces Rockchip aux signaux cloud. Son cœur repose sur le framework propriétaire Rockit de Rockchip pour réaliser l'accélération matérielle. Le framework Rockit adopte une architecture modulaire, encapsulant de manière unifiée les fonctions sous-jacentes telles que la capture, le codage/décodage et le prétraitement d'image, masquant ainsi la logique complexe sous-jacente des puces. Agora a effectué une adaptation exclusive basée sur ce framework, permettant d'appeler directement les unités de codage/décodage matérielles de Rockchip, réduisant ainsi les pertes dues aux multiples conversions de données, ce qui diminue la latence et raccourcit les cycles de développement.
En ce qui concerne le support matériel de la puissance de calcul des puces, le RK3588 est équipé d'un CPU à huit cœurs et d'un NPU propriétaire avec une puissance de calcul de 6 TOPS, prenant en charge le codage/décodage matériel multi-voies 8K, et capable d'exécuter simultanément plusieurs tâches telles que la perception SLAM, la reconnaissance IA et la transmission d'images haute définition. Le RK3576, quant à lui, grâce à son architecture hétérogène, équilibre le contrôle en temps réel et une faible consommation d'énergie. Les puces de contrôle principales de Rockchip sont déjà fournies en volume à des entreprises leaders de la robotique telles que Unitree, Deep Robotics, Ecovacs et Geek+, en tant que plateforme de calcul universelle pour robots.
En termes d'optimisation conjointe du framework et du matériel, la pipeline multimédia Rockit est profondément intégrée au moteur de communication en temps réel d'Agora. L'ensemble du processus de capture, codage, transmission et rendu audio/vidéo bénéficie d'une accélération matérielle, conciliant la réactivité du contrôle et la faible consommation d'énergie de l'ensemble de la machine.
Selon les tests conjoints des deux parties, les performances mesurées de cette solution sont remarquables. La latence de bout en bout est inférieure à 200 millisecondes, pouvant descendre à 150 millisecondes dans la plupart des scénarios, avec une latence réseau médiane de 76 millisecondes, offrant un retour de contrôle naturel et synchrone. Dans un environnement avec 80 % de perte de paquets audio/vidéo, l'image reste continue et le contrôle à distance n'est pas interrompu. Lorsque le taux de perte de paquets des signaux de commande atteint 70 %, le taux de délivrance des instructions telles que la direction, la préhension, le démarrage et l'arrêt est proche de 100 %. L'ensemble de la solution, s'appuyant sur la puissance de calcul sous-jacente des puces, résout les problèmes fondamentaux du contrôle à distance, contribuant ainsi à lever les préoccupations de sécurité pour la commercialisation des équipements.
S'appuyant sur la puissance de calcul équilibrée des puces Rockchip, cette solution couvre cinq grands domaines d'application. Dans le domaine industriel, elle convient aux bras robotisés, aux AGV et aux chiens robots d'inspection, permettant des opérations à distance dans des ateliers à haut risque et la coordination multi-robots. Dans le domaine agricole, elle peut être utilisée pour les robots de moisson, de cueillette de thé et de tonte, permettant la transmission en temps réel d'images des champs et le traitement à distance des pannes. Dans le domaine des services urbains, elle prend en charge les robots de nettoyage et de livraison de repas, assurant une coordination stable dans les environnements ouverts des parcs. Dans le domaine domestique, elle peut être appliquée aux robots de compagnie et de nettoyage, prenant en charge la visualisation à distance et l'interaction en temps réel via des terminaux mobiles. Dans le domaine de la sécurité publique, elle convient aux équipements de patrouille des pompiers et des frontières, répondant aux besoins de transmission en temps réel d'images de sites dangereux et de traitement à distance.
Toute équipe développant des robots basés sur les RK3588 ou RK3576 peut contacter directement Agora ou Rockchip pour obtenir une démo de développement complète, afin d'intégrer rapidement la capacité de contrôle parallèle et de réduire le délai de mise sur le marché du produit.
