09,05,2026 2vues
Lorsque le robot Humanoïde est confronté à des terrains complexes tels que des pieux de prunier, des ponts brisés, des escaliers à marches étroites, le test qui est vraiment permanent devant lui est beaucoup plus simple que de « voir sous vos pieds».
Sur un terrain plat continu, une seule chute de pied qui n'est pas assez précise laisse souvent place à un réglage; Mais dans une zone de chute de pied clairsemée, discrète et géométriquement limitée, un déplacement de quelques centimètres de la paume du pied peut entraîner un piétinement vide. Une fois que le robot fait un mauvais choix en un instant, souvent avant de pouvoir s'ajuster, le corps est déjà hors d'équilibre.
Une question clé en découle: les robots peuvent - ils juger à l’avance de l’avenir dans lequel ils se dirigeront avant de franchir le pas actuel?
Pour résoudre ce problème, l'équipe d'algorithmes robotiques de groundmelon a proposé le World model Augmented Visual locomotion, ou WM - loco en abrégé.
WM - loco introduit un modèle du monde orienté vers la prédiction future de l'état visuel et moteur dans la marche sur terrain complexe d'un robot Humanoïde, l'entraînement combiné de bout en bout dans la simulation et la migration de machine réelle Zero - shot. Cela signifie que les stratégies bien formées dans la simulation peuvent être déployées directement sur des robots physiques sans nécessiter de réglages secondaires.
Schéma de l'architecture WM - loco: stratégie PPO à gauche, modèle du monde circulaire à droite, codeur partagé par les deux, entraînement conjoint de bout en bout
En termes simples, les robots du passé décidaient davantage des prochaines étapes en fonction de ce qu’ils voyaient devant eux; WM - loco a permis aux robots d’apprendre à « prédire l’avenir avant de décider de la marche à suivre ».
Je ne comprends que le passé, pourquoi pas assez?
L'apprentissage par renforcement visuel traditionnel introduit généralement des informations visuelles actuelles et historiques avec l'état de l'ontologie du robot dans le réseau de stratégie, puis affiche les instructions de contrôle des articulations en temps réel.
Ce type de stratégie basée sur l'historique d'observation, capable de "voir" les informations déjà vécues par le robot, permet, en entrant des images Multi - trames successives ou un historique d'états ontologiques, de juger comment le robot s'est déplacé auparavant, comment le terrain a changé et de générer l'action actuelle en conséquence.
Mais le problème est que l’information toujours « passée » que la stratégie utilise n’apprend pas explicitement « les changements d’état futurs qu’une action peut apporter ». Cette limitation n'est pas encore évidente sur des terrains plats et réguliers, et peut être considérablement amplifiée par de courtes planches qui prennent des décisions basées sur l'histoire de l'observation, une fois confrontées à des terrains où de telles zones de chute de pied sont strictement restreintes, tels que des pieux de pruniers, des ponts brisés, des escaliers à marches étroites, etc.
Parce que la marche sur terrain complexe n'est jamais une simple superposition d'une chaîne d'actions en une seule étape qui ne sont pas liées les unes aux autres.
L'endroit où ce pied marche actuellement affecte continuellement le Centre de gravité du corps, les relations de soutien, la trajectoire des jambes oscillantes et les zones que vous pouvez atteindre ensuite. Une action qui semble réalisable en ce moment peut plonger le robot dans un état sans chemin au moment suivant.
Ainsi, le robot doit non seulement comprendre « ce qui s’est passé avant», mais aussi anticiper: si cette action est effectuée, que peut - il se passer ensuite?
Donner à la stratégie une compréhension du « futur »
WM - loco reçoit simultanément des informations de vision profonde et de perception ontologique à bord du robot, et apprend en permanence les relations dynamiques entre le robot, l'action et l'environnement dans l'espace caché grâce à un modèle de monde circulaire.
Il est important de souligner: le but de ce modèle de monde n'est pas de générer une vidéo futuriste à regarder, mais d'apprendre une caractérisation plus compacte et mieux adaptée à un contrôle en temps réel de l'état futur. WM - loco tente à chaque instant de répondre à trois questions:
Dans quel état sont les robots et le terrain maintenant?
Comment la vision et l'état physique changent - ils après l'exécution de l'action?
Ce changement est - il bénéfique pour la marche stable suivante?
Sur une implémentation concrète, le modèle du monde est constitué d'une trajectoire déterministe de mémoire et d'une variable implicite aléatoire: la première accumule l'histoire le long d'un cycle temporel, la seconde extrapole à partir des observations actuelles.
En apprenant les reconstructions observationnelles, les transferts d ` état potentiels et les prédictions de rétroaction de mission, le modèle du monde affine progressivement les caractérisations dynamiques qui impliquent les tendances futures du mouvement et renvoie ces informations aux stratégies PPO.
Par conséquent, la stratégie n'obtient plus seulement des marches, des obstacles et des zones de chute de pieds dans l'image de profondeur actuelle, ni une trajectoire de mouvement historique, mais contient également des informations prospectives sur la façon dont l'état corporel du robot pourrait évoluer par la suite.
GT pour la profondeur réelle de la prochaine image, Recon. Pour la prédiction du modèle et Error pour l'erreur pixel par pixel
C'est exactement ce qui distingue WM - loco d'une stratégie d'entrée Multi - trame normale. L'historique des observations aide principalement les stratégies à comprendre « ce qui s'est passé dans le passé »; Les modèles du monde apprennent davantage la relation dynamique entre les observations, les actions et les états futurs, ce qui permet aux stratégies de déterminer « ce qui pourrait arriver ensuite».
De cette façon, les décisions stratégiques ne reposent plus uniquement sur des informations historiques, mais sont vraiment dotées d'une capacité de prévision orientée vers l'avenir.
Iii. Formation de bout en bout, adieu au processus fastidieux
Pour permettre au robot de traverser un terrain complexe, de nombreux itinéraires techniques divisent le système en plusieurs modules tels que la perception, la planification des points de chute, la génération de trajectoire, la stratégie de l'enseignant et les contrôles sous - jacents.
Une partie du programme nécessite également de former d'abord une stratégie d'enseignant « ouverte» avec la vérité du terrain complet, puis de migrer les compétences vers une stratégie d'étudiant utilisant des capteurs embarqués par distillation des connaissances. Le coût de ce type de programme réside dans des liens de formation plus longs, plus de conception manuelle, des coûts de construction de données plus élevés et la possibilité que les erreurs entre plusieurs modules soient transmises niveau par niveau et amplifiées par couches.
En revanche, WM - loco a opté pour un parcours plus direct et concis: le modèle du monde est optimisé conjointement de bout en bout avec la stratégie de marche dans le même processus d’entraînement.
L'ensemble du système ne nécessite pas de marquage Manuel des points de chute, ne repose pas sur des trajectoires de pied pré - planifiées, ne nécessite pas de distillation Multi - étapes de type enseignant - étudiant, ne nécessite pas de structure multi - spécialiste complexe et ne nécessite pas de formation séparée de plusieurs modules indépendants. De l'entrée visuelle aux mouvements articulaires, l'entraînement se fait en une seule étape.
Les informations dynamiques apprises par les modèles du monde ne sont pas non plus reconstruites pour être reconstruites, mais servent directement un objectif: aider les stratégies à prendre de meilleures décisions pour la prochaine étape.
Taux de réussite plus élevé, démarche plus naturelle
Avec la même entrée visuelle et les mêmes paramètres de tâche, l'équipe algorithmique a comparé WM - loco à la stratégie PPO de base.
À mesure que la zone de chute des pieds devient de plus en plus clairsemée, étroite et discontinue, les deux méthodes montrent un écart important. Les stratégies PPO pures, qui reposent uniquement sur l'historique d'observation, sont plus susceptibles de tomber prématurément, de fréquentes tentations, de rythmes incohérents entre les jambes droite et gauche, et de problèmes où les actions locales sont réalisables et ne peuvent pas être suivies. Dans les terrains partiellement difficiles, les PPO simples ont même du mal à former une capacité de passage stable.
Et après l'introduction du modèle du monde, le taux de réussite du robot dans des scénarios complexes tels que les pieux de prunier, les ponts brisés, les escaliers à marches étroites et les ponts en bois unique a considérablement augmenté, atteignant près de 100% dans la simulation. Dans le même temps, le robot réduit les corrections intrusives et la démarche hésitante.
En d'autres termes, le modèle du monde n'apporte pas seulement la « capacité de passer», mais permet également au robot de montrer une intention de mouvement plus continue et plus stable tout en marchant - le balancement des jambes, la chute des pieds sont plus cohérents avec le déplacement du Centre de gravité du corps, le rythme des jambes droite et droite est plus coordonné et le Mouvement global est plus naturel et plus proche de la marche humaine.
Sur machine réelle, le même ensemble de poids a été déployé sur unitree G1 en Zero - shot: 10 tests chacun pour les trois catégories de terrain: marches, marches, crevasses, avec un taux de réussite moyen de 93,3%. La fente de 0,8 mètre de large, que le robot franchit d'une étape à l'autre dans un mouvement complet de « balancer les jambes - traverser - atterrir», n'a pas été testée par l'équipe pour des raisons de sécurité, mais il s'agit déjà d'une distance de franchissement réelle rare dans les travaux publics actuels.
V. Vérification en direct: plus que Demo
Les travaux sur le marché montrent généralement des vidéos de démo filtrées, souvent difficiles à refléter complètement la stabilité de l'algorithme dans un environnement réel.
La présentation sur place est complètement différente. Les robots doivent faire face à des bruits de capteurs réels, à des changements d'état de l'équipement, à des interférences lumineuses et à des opérations uniques qui ne peuvent pas être répétées. Toute erreur de perception ou de contrôle est directement exposée au spectateur.
Lors de la récente Conférence de presse Rising Sun S600, le robot Humanoïde à bord du WM - loco a terminé sa présentation en direct. Fonctionnant en temps réel sur des robots réels, des capteurs réels et la plate - forme informatique Rising Sun S600, l'algorithme complète une boucle fermée complète, de la perception visuelle à la modélisation du monde en passant par le contrôle des mouvements du corps entier.
Les opérations en direct ouvertes imposent des exigences plus élevées en termes de stabilité, de temps réel et de fiabilité de déploiement de l'algorithme que les démonstrations de marche sur terrain complexes sous la forme de démonstrations vidéo, validant davantage la fiabilité technique, la déployabilité réelle et le taux de réussite élevé de WM - loco.
Les modèles du monde ne sont pas seulement utilisés pour générer le futur, ils peuvent également aider les robots à le comprendre.
Alors que le robot passe de la prise de décision basée sur l'historique des observations à la prédiction proactive des conséquences de ses actions, sa logique de marche change avec elle: prédire l'avenir d'abord et passer à l'étape suivante.
(extrait)
