Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

CVPR 2026: Workshop will KI von der Weltgenerierung zum Handeln in der Welt bringen

2. Oktober 2026, 00:37Von der KI Nachrichten RedaktionQuelle: Lambda
CVPR 2026: Workshop will KI von der Weltgenerierung zum Handeln in der Welt bringen
Bild: Lambda

Realistische Videogenerierung reicht für Roboter, die in der physischen Welt handeln müssen, nicht aus. Das geht aus der Zusammenfassung von Lambda zum CVPR 2026 Workshop on World Models Meet Active Sensing and Closed-Loop Planning (WMAS) hervor. Lambda, Mitveranstalter und Sponsor der Veranstaltung, sieht in den Forschungsarbeiten eine Entwicklung hin zu Agenten, die in einem kontinuierlichen Kreislauf wahrnehmen, planen und handeln.

Das Wichtigste in Kürze
  • Lambda war Mitveranstalter und Sponsor des CVPR-2026-Workshops WMAS mit 20 angenommenen Papers und Vorträgen von Roy, Yuille, Aloimonos und Finn.
  • RoboWM-Bench zeigte, dass visuell plausible generierte Videos dennoch Verhalten erzeugen können, das bei der Ausführung scheitert.
  • Laut den GEM-4D-Autoren steigt die Erfolgsquote bei realer Manipulation mit geometriegestützten Video-Weltmodellen von 61 auf 81 Prozent.
  • SAW-Bench ermittelt beim Situationsbewusstsein eine Lücke von 37,66 Prozent zwischen Mensch und dem besten von 24 getesteten Modellen.
  • Lambda beschreibt einen kontinuierlichen Kreislauf aus Wahrnehmen, Verstehen, Vorhersagen, Planen und Handeln als Richtung für Physical AI.

Ein Workshop rund um eine zentrale Frage

Auf dem WMAS kamen Forschende aus den Bereichen generative Modellierung, Computer Vision, Robotik und Embodied AI zusammen. Laut Lambda gab es Vorträge von Nicholas Roy vom MIT CSAIL, Alan Yuille von der Johns Hopkins University, Yiannis Aloimonos von der University of Maryland sowie Chelsea Finn von der Stanford University und Physical Intelligence. Hinzu kamen 20 angenommene Fachbeiträge zu Weltmodellen, aktiver Wahrnehmung, Robotik-Policies, multimodaler Steuerung und Evaluierung.

Die zentrale Frage lautet nach Lambdas Darstellung: Wie gelangen wir von Modellen, die die Welt generieren, zu Agenten, die in ihr intelligent wahrnehmen, schlussfolgern, planen und handeln können? Bild- und Videomodelle erzeugen bereits fotorealistische Szenen und komplexe Dynamiken. Ein KI-System in der physischen Welt müsse darüber hinaus erkennen, was es nicht weiß, entscheiden, welche Informationen es sammeln soll, handeln, die Ergebnisse beobachten und seinen Plan anpassen, argumentiert Lambda.

Realistisch aussehen heißt nicht, umsetzbar zu sein

Eines der drei mündlich vorgestellten Papers, RoboWM-Bench, bewertet Video-Weltmodelle, indem es die generierten Videos untersucht und die darin gezeigten Manipulationsverhalten in verkörperte Handlungssequenzen überführt. Anschließend wird getestet, ob diese Aktionen Aufgaben tatsächlich lösen können. Laut Lambda offenbart die Evaluierung eine entscheidende Lücke: Videos, die plausibel aussehen, können dennoch Verhalten hervorbringen, das bei der Ausführung scheitert, etwa wegen Fehlern im räumlichen Schlussfolgern, instabiler Kontaktvorhersagen oder physikalisch inkonsistenter Verformungen.

GEM-4D geht das Problem von der Modellierungsseite an. Das Verfahren ergänzt ein Video-Weltmodell um dichte 4D-Korrespondenz-Supervision, damit generierte Frames geometrisch konsistent bleiben. Ein Inverse-Dynamics-System wandelt die generierten Rollouts anschließend in ausführbare 6-DoF-Roboterbahnen um. Die Autoren berichten, dass dieser geometriegestützte Ansatz die Erfolgsquote bei realen Manipulationsaufgaben von 61 auf 81 Prozent steigert.

Auch die eingeladenen Vorträge griffen das Thema auf. Nicholas Roys Vortrag „World Models and Why We Should Care about Their Structure“ drehte sich um den Aufbau von Weltmodellen, während Alan Yuilles „World Models: Bayes or Bust?“ probabilistisches Schlussfolgern in die Diskussion einbrachte.

Wissen, was es wahrzunehmen gilt

Das dritte mündlich präsentierte Paper, SAW-Bench, testet das Situationsbewusstsein multimodaler Foundation-Modelle. Der Benchmark umfasst 786 egozentrische Videos aus der realen Welt und 2.071 von Menschen annotierte Fragen zu sechs Aufgaben des Situationsbewusstseins. Über 24 evaluierte Modelle hinweg berichten die Autoren von einer Lücke von 37,66 Prozent zwischen Mensch und dem leistungsstärksten Modell. Ihre Analyse deutet darauf hin, dass Modelle zwar teilweise geometrische Hinweise nutzen können, aber keine kohärente beobachterzentrierte Geometrie aufbauen, was zu systematischen Fehlern beim räumlichen Schlussfolgern führt.

Lambda nutzt dies als Einstieg in die aktive Wahrnehmung. Die meisten heutigen KI-Systeme verarbeiten, was ihnen vorgesetzt wird, ein aktiver Agent hingegen kann gezielt Informationen suchen, um Unsicherheit zu verringern. In Lambdas Beispiel könnte ein Roboter, der einen teilweise verdeckten Gegenstand handhabt, seine Kameraperspektive ändern, das Objekt aus einem anderen Winkel betrachten oder entscheiden, dass Tastinformationen mehr nützen als eine weitere visuelle Beobachtung. Wahrnehmung wird damit Teil der Entscheidungsfindung: Der Agent fragt nicht nur, was er aus dem Gesehenen verstehen kann, sondern auch, was er als Nächstes beobachten sollte.

Die Generierung wird Teil des Handlungskreislaufs

Laut Lambda beginnen generative Modelle, von der Vorhersage ins Handeln überzugehen. Aloimonos hielt einen Vortrag mit dem Titel „Generative Action Systems“, Finn stellte „Evaluating and Improving Robotic Foundation Models with World Models“ vor. Ein weiteres WMAS-Paper, Imitation Learning Through Imagination in Latent Space, untersuchte, wie vorgestellte Trajektorien zum Lernen von Policies beitragen können.

In diesem Bild stellt sich ein generatives Modell mögliche Zukünfte vor, ein Weltmodell bildet ab, wie Aktionen diese verändern können, die aktive Wahrnehmung entscheidet, worauf als Nächstes zu achten ist, und eine Policy wählt eine Aktion, deren Ergebnis zur neuen Beobachtung wird. Lambda fasst den Zyklus als „Sense, Understand, Predict, Plan, Act, Sense Again“ zusammen, im Gegensatz zu einer klassischen Open-Loop-Pipeline. Eine generierte Zukunft müsse nicht mehr das Endergebnis sein, sondern könne als Zwischenrepräsentation dienen, um über Ergebnisse nachzudenken.

Was das für Physical AI bedeutet

Lambda betont, dass die physische Welt nur teilweise beobachtbar ist und sich ständig verändert, Sensoren unvollkommen sind, Objekte verdeckt werden und Handlungen unsichere Folgen haben. Ein Agent könne deshalb nicht davon ausgehen, dass seine ersten Beobachtungen alles enthalten, was er braucht.

Das Unternehmen beschreibt drei Komponenten als einander ergänzend: Weltmodelle, um die Umgebung abzubilden und Zukünfte vorzustellen, aktive Wahrnehmung, um Informationen strategisch zu beschaffen, und Closed-Loop-Planung, um Entscheidungen bei neuen Beobachtungen zu überarbeiten. Für Forschende und Entwickler robotischer Systeme deuten die Benchmarks des Workshops auf eine Evaluierung hin, die danach fragt, ob generiertes Verhalten bei der Ausführung gelingt, und nicht nur, wie realistisch es aussieht.

Ähnliche Meldungen

FFR: OmniMind führt RoboColiseum-Ranking für physische KI an
Forschung9. November 2026, 02:42

FFR: OmniMind führt RoboColiseum-Ranking für physische KI an

FF EAI Robotics Ecosystem zufolge belegte das physische KI-Modell OmniMind am 6. November Platz 1 im globalen RoboColiseum-Ranking. Zudem meldete das Unternehmen…

RAI Institute bringt fünf Papers zu Robot Learning auf die CoRL 2026 in Austin
Forschung3. November 2026, 00:51

RAI Institute bringt fünf Papers zu Robot Learning auf die CoRL 2026 in Austin

Das RAI Institute hat mehrere Papers und Workshops auf der Conference on Robot Learning (CoRL) 2026 untergebracht, die vom 9. bis 11. November in Austin, Texas…

KRAFTONs Ludo Robotics stellt Ludi 0.2 für sozial aufmerksame Roboter vor
Forschung30. Oktober 2026, 19:00

KRAFTONs Ludo Robotics stellt Ludi 0.2 für sozial aufmerksame Roboter vor

Ludo Robotics, die Robotiktochter des PUBG: BATTLEGROUNDS-Entwicklers KRAFTON, hat Ludi 0.2 vorgestellt, ein aktualisiertes System für Roboterintelligenz, das Robotern…