RAI Institute bringt fünf Papers zu Robot Learning auf die CoRL 2026 in Austin

Ein Jubiläumsjahr für die CoRL

Die CoRL führt Forschung aus Robotik und maschinellem Lernen zusammen. Laut RAI Institute feierte die Konferenz 2017 ihre Premiere und begeht 2026 ihr zehnjähriges Bestehen. Die Forschungsteams des Instituts haben nach eigenen Angaben Arbeiten zu handgeführter Datenerfassung, Loco-Manipulation, Roboter-Mapping und -Wahrnehmung, Sim-to-Real-Transfer von Policies sowie Zero-Shot-Planung über lange Zeithorizonte eingereicht.

Loco-Manipulation bei Humanoiden und Vierbeinern

Zwei Papers befassen sich mit Robotern, die gleichzeitig laufen und Objekte manipulieren.

HLO-AMP zielt auf hierarchische Pipelines für Humanoide, die üblicherweise einen aufgabenunabhängigen Ganzkörper-Controller mit einer nachgelagerten Task-Policy kombinieren. Die Autoren kritisieren, dass solche Controller oft ohne das zu manipulierende Objekt in der Szene trainiert werden und die Objektdynamik über zufällige Kraftstörungen am Endeffektor nur annähern. Ihr Ansatz trainiert den Low-Level-Controller als objektbewussten Motion Prior, und zwar per Bewegungsimitation anhand umgerechneter Motion-Capture-Referenzen, bei denen das Objekt physisch vorhanden ist. Darauf aufbauend wird eine referenzfreie High-Level-Policy trainiert. Demonstriert wurde das Framework auf einem Unitree G1 beim beidhändigen Aufnehmen und Ablegen von Kisten. Laut Paper verallgemeinert dieselbe eingesetzte Policy über Objektmassen und -abmessungen sowie Start- und Zielposen hinweg und fängt sich auch nach absichtlich herbeigeführtem Fallenlassen während des Tragens wieder.

Das zweite Paper, das aus Demonstrationen von Sample-based Model Predictive Control (SMPC) lernt, nutzt SMPC in der Simulation als automatisierten Experten, um große Offline-Datensätze zu erzeugen. Dadurch kann ein Off-Policy-RL-Agent allein aus spärlichen Task-Rewards lernen. Das verkürze laut den Autoren die Zeit für das Erlernen neuer Fähigkeiten und mache manuelles Tuning überflüssig. Die gelernten Policies können den ursprünglichen optimalen Regler als Lehrer übertreffen, und das Team berichtet von Einsätzen auf einem Spot-Vierbeiner mit Arm und einem G1-Humanoiden.

Mapping und Sim-to-Real-Expertenlernen

RoMo-GS ist ein Online-System für 3D Gaussian Splatting zum Roboter-Mapping. Laut den Autoren verursachen schnelle Roboterbewegungen Bewegungsunschärfe, die die Geometrie verfälscht und zu Drift bei der Kamerapose führt, während die Zahl der Gaussians unbegrenzt wächst. Statt diskrete Teilbilder zu mitteln, integriert RoMo-GS jedes projizierte Gaussian analytisch über das Belichtungsintervall, was eine Komplexität von O(1) pro Gaussian ergibt, und begrenzt das Wachstum mit einem Hesse-Matrix-basierten Pruning-Score. Laut Paper erreicht oder übertrifft es Offline-3DGS-Methoden mit Deblurring bei der Renderqualität, läuft dabei aber 15 bis 150 Mal schneller und arbeitet online mit rund 20 Prozent weniger Gaussians als die Online-3DGS-Baseline.

ExpertGen automatisiert das Lernen von Expertenpolicies in der Simulation ohne menschliche Demonstrationen. Es beginnt mit einer Diffusion Policy, die auf synthetischen Daten trainiert wurde, und steuert sie dann per Reinforcement Learning, indem das initiale Rauschen des Diffusionsmodells optimiert wird, während der Denoising-Prozess eingefroren bleibt. Die Autoren berichten von Erfolgsraten von bis zu 85 Prozent bei Manipulationsaufgaben mit langem Zeithorizont und von 91,1 Prozent Gesamterfolgsrate bei industriellen Montage-Benchmarks, womit alle Baselines übertroffen würden. Die zustandsbasierten Experten wurden per DAgger in visuomotorische Policies destilliert und auf realer Hardware eingesetzt.

Zero-Shot-Planung und ein Workshop zur Datenerfassung

NovaPlan ist ein hierarchisches Framework für Zero-Shot-Manipulation über lange Zeithorizonte. Ein Planer auf Basis eines Vision-Language-Modells zerlegt Aufgaben und filtert dynamisch inkonsistente Zukunftsverläufe heraus, indem er mehrere Video-Rollouts als Kandidaten prüft. Eine hybride geometrische Repräsentation wechselt zwischen objektzentriertem Flow und dem Flow der menschlichen Hand, und das System überwacht die Ausführung, um korrigierende Verhaltensweisen wie das Anstupsen mit der Fingerspitze zu synthetisieren. Laut den Autoren übertrifft es frühere Zero-Shot-Systeme deutlich und bewältigt komplexe Montage und geschickte Fehlerkorrektur ohne aufgabenspezifisches Training oder Demonstrationen.

Im Workshop-Programm stellt das Institut Eucalyptus vor, eine Erweiterung von UMI für dauerhafte, kraftsensitive Datenerfassung ohne Roboter. Sie kombiniert einen neu gestalteten mechanischen Rahmen mit einer Sensorik aus RGB-Kamera, Greiferbreite, Interaktionskräften und 6-DoF-Pose. Das Redesign beseitigt messbares Spiel, vergrößert die maximale Greiferbreite und verbessert die Ergonomie für unterschiedlichste Handgrößen.

Was das bedeutet

Insgesamt zeigt sich in den Papers ein gemeinsames Thema: Die Abhängigkeit von manuellem Reward-Design und teuren Demonstrationen in der realen Welt soll sinken, indem mehr Lernen in die Simulation verlagert wird, ohne den Transfer auf reale Hardware aufzugeben. Besucherinnen und Besucher in Austin können sich die Arbeiten vom 9. bis 11. November aus erster Hand ansehen.