Googles Gemini 4 Argon zielt auf die Robotik: 87 Prozent im ERQA-Benchmark

Eine Benchmark-Behauptung und vier Einsatzbereiche

In einem Beitrag im Google Developers Blog beschreibt Principal Software Engineer Kanishka Rao Gemini 4 Argon als ein Modell, das neue Arbeitsabläufe im gesamten Robotik-Stack ermöglicht und den Fortschritt hin zu dem beschleunigt, was Google als physische AGI bezeichnet. Als Beleg verweist das Unternehmen auf den Benchmark Embodied Reasoning (ERQA), der die Fähigkeit eines Modells prüft, physikalische, räumliche Probleme in 3D-Umgebungen zu verstehen und zu lösen. Google gibt an, dass Argon mit reinem Reasoning 87 Prozent erreicht und damit vor allen anderen Frontier-Modellen liegt.

Der Beitrag zeigt repräsentative Prompts in vier Bereichen:

• Robotersteuerung: mobile Manipulation mit MuJoCo-Training, Zero-Shot-Robotersteuerung und Closed-Loop-Steuerung von Video-Weltmodellen.
• Real2Sim: Rekonstruktion physikalisch kalibrierter Simulationszwillinge aus Kamerabildern von Robotern, egozentrischen Menschenvideos oder handgezeichneten Papierskizzen.
• Physikalisches Verständnis: agentisches multimodales Hindsight Labeling, einschließlich detailliertem Verständnis von Geschicklichkeit, dichten Wertfunktionen und Fortschrittsschätzung.
• Forschung und Selbstverbesserung: Verbesserung von Aktionen per Simulation und iterative Selbstverbesserung auf der Hardware.

Beispiele zur Robotersteuerung

Im ersten Beispiel steuert Argon einen vierbeinigen Roboter Spot von Boston Dynamics, beschrieben mit Beinen mit 12 Freiheitsgraden und einem Arm mit 6 Freiheitsgraden. Der Roboter lernt eine neue Fertigkeit: Er tritt auf den Fußhebel eines Mülleimers, um Getränkedosen zu entsorgen. Bevor Argon auf das physische Pedal tritt, baut es einen gelenkigen digitalen MuJoCo-Zwilling des Eimers und übt dort die Bewegungen. Der Prompt fordert Spot auf, über die Frontkameras zu prüfen, ob das Ziel des vorderen rechten Fußes mittig auf dem Pedal liegt, und einen Verifikationsschwarm aus zwei Agenten, einem Fuß-Verifizierer und einem Hand-Verifizierer, einzusetzen, um sowohl den Tritt aufs Pedal als auch die 3D-Ausrichtung der Hand im Eimer zu prüfen, bevor die Dose losgelassen wird.

Das zweite Beispiel ist die Zero-Shot-Steuerung eines einfachen Roboterarms, der eine umgefallene Tasse aufstellen und eine zerknüllte Serviette hineinlegen soll. Laut Beitrag schlussfolgert Argon dabei mit einem visuellen Koordinatengerüst und Aktionsprimitiven und löst die Aufgabe über mehrere Runden. Der Prompt liefert ein kalibriertes Handgelenkkamerabild mit einem projizierten 2-cm-Weltkoordinatengitter sowie eine Beobachtungsdatei. Das Modell soll in jeder Runde mit einem einzelnen Beobachtungssatz und anschließend einem curl-Befehl antworten. Zu den Primitiven gehören look_at, grasp, place, goto, move_by und move_until_contact. Der Prompt überlässt dem Modell, wie viele visuelle Prüfungen es vornimmt, von 2 bis 4 Aufrufen bis zu 8 bis 20 für feines visuelles Servoing.

Das dritte Beispiel nutzt das Gemini Omni World Model. Argon steuert dort Roboter, die fünf verstreute Scrabble-Steine (G, R, A, N, O) zu einer Reihe mit dem Wort A-R-G-O-N anordnen. Statt sich auf einen einzelnen statischen Prompt zu stützen, arbeitet Argon in einer geschlossenen visuellen Schleife: Es schreibt Aktions-Prompts mit Zeitstempeln, prüft Keyframes der Zwischenergebnisse und verfeinert seine Prompts. Die Demonstration wird als gesteuerter Video-Rollout mit 33 Schritten und geschickten Händen beschrieben.

Real2Sim: digitale Zwillinge aus Roboterdaten

Im Real2Sim-Abschnitt beobachtet Argon eine echte Teleoperationssitzung eines Roboters und entwickelt daraus einen digitalen Zwilling. Laut Beitrag beschafft oder erstellt es Simulationsassets, die aussehen und sich verhalten wie die echten Objekte, wenn geschickte Hände sie berühren. Anschließend justiert es die Assets und Szenen in einer iterativen visuellen Reasoning-Schleife, sodass simulierte Bilder und Kontaktereignisse zu den aufgezeichneten Realdaten passen.

Der Prompt legt zwei Prüfziele fest. Das erste ist eine visuelle Übereinstimmung zwischen MuJoCo-Renderings der Kameras head_left, left_wrist und right_wrist und den echten Beobachtungen. Das zweite ist eine physikalische Übereinstimmung: Die simulierte Kontaktkraft und das Drehmoment an jeder Sharpa-Fingerspitze müssen mit der protokollierten tactile_force in Zeitpunkt, Betrag und Richtung übereinstimmen.

Die Regeln begrenzen, was das Modell verändern darf. Anpassbar sind statische Objekt-Assets (Geometrie, Kollisionsformen, Masse, Trägheit, Reibung und Gelenke sowie Anfangspositionen bei t = 0) und offline geplante Roboterbefehle, die nur in Frames geändert werden dürfen, in denen die echten Fingerspitzen in der Nähe eines Objekts sind. Jeder Befehl muss bei Armgelenken innerhalb von 0,55 rad und bei Handgelenken innerhalb von 0,65 rad der protokollierten Teleop-Trajektorie bleiben. Außerdem verbietet der Prompt "Sim Cheating": Aufgabenobjekte dürfen sich nur durch echten MuJoCo-Kontakt mit den Roboterhänden und der Umgebung bewegen.

Was das für Robotik-Entwickler bedeutet

Der Beitrag ist eher eine Sammlung von Prompt-Beispielen als ein vollständiger technischer Bericht, und die Leistungsangaben stammen von Google selbst. Der vorliegende Auszug der Quelle enthält keine Angaben zu Preisen, Verfügbarkeit oder Veröffentlichung von Gemini 4 Argon. Er zeigt aber die vorgesehene Rolle des Modells: eine Reasoning-Schicht, die Code gegen Roboter-APIs schreibt, Simulationen baut und prüft und Weltmodelle steuert, wobei dasselbe System Steuerung, Simulation und Datenlabeling abdeckt. Für Robotik-Teams deuten die Beispiele darauf hin, dass Google ein Allzweckmodell statt getrennter Spezialwerkzeuge als Weg sieht, diese Schritte zu verbinden.