Gemini Robotics ER 2 startet als öffentliche Vorschau auf Google Cloud

Ein übergeordnetes Gehirn für viele Robotertypen

Gemini Robotics ER 2 ist ein spezialisiertes Gemini-Modell und das Herzstück von Gemini Robotics 2, das Google Anfang des Jahres als Intelligenzschicht für Roboter vorgestellt hat. Google zufolge funktioniert das Modell mit jeder Roboterbauform, von stationären Armen und Rädern-Rovern über Vierbeiner bis hin zu vollständigen Humanoiden.

Nach Angaben des Unternehmens können Roboter dadurch natürlich mit Menschen kommunizieren, Low-Level-Aktionsmodelle und Hardware-APIs orchestrieren, mehrminütige Aufgaben mit Hunderten von Entscheidungen ausführen und in Multi-Roboter-Teams zusammenarbeiten. In diesen Teams können unterschiedliche Robotertypen ein gemeinsames Verständnis ihres Arbeitsbereichs teilen, Aufgaben aufteilen und übergeben, um Abläufe zu erledigen, die eine einzelne Maschine nicht allein bewältigen könnte.

Entwickler können Schnittstellen zur Low-Level-Steuerung, etwa Vision-Language-Action-Modelle (VLA), Navigations-APIs oder eigene Funktionen, als Tools deklarieren. Anschließend können sie Video, Audio oder Text in das Modell streamen. Google zufolge kann das Modell Navigation und Manipulatorbewegungen anhand von Befehlen in natürlicher Sprache orchestrieren, sein Vorgehen während der Ausführung erklären und es Bedienern ermöglichen, es ohne Fachsprache umzulenken.

Aufgaben prüfen und Fehler korrigieren

Google betont, ein Roboter müsse wissen, ob ein Schritt gelungen ist, bevor er den nächsten beginnt. Gemini Robotics ER 2 analysiert kontinuierliche Videoströme, um den Aufgabenfortschritt zu beurteilen, und klassifiziert ihn als binären Status, in diskreten Kategorien oder als kontinuierliche Werte. So lässt sich ein fehlgeschlagener Schritt anpassen oder wiederholen, ohne einen ganzen Ablauf neu zu starten.

Das Unternehmen berichtet, das Modell könne das exakte Videobild bestimmen, in dem ein kritisches Ereignis eintritt, etwa wann das Eingießen einer Flüssigkeit gestoppt werden muss, und zwar mit einer Genauigkeit von 91,3 % und einem mittleren absoluten Bildabstand von 0,96 Sekunden. Google zufolge geschieht das mit der vierfachen Ausführungsgeschwindigkeit und zu einem Bruchteil der Rechenkosten vieler größerer Modellklassen.

Das Modell liest auch Messinstrumente ab. Laut Google kann es direkt aus der visuellen Eingabe Werte aus mehr als 10 Instrumentenkategorien interpretieren, darunter Rundskalen, Schaugläser, Digitalanzeigen, lineare Skalen, Lineale und Flüssigkeitsthermometer.

Simulation, Training und Bereitstellung auf Google Cloud

Google beschreibt auf der Gemini-Plattform einen Workflow in drei Phasen:

• Simulieren: Roboterverhalten lässt sich in Umgebungen wie MuJoCo-Warp und NVIDIA Isaac Sim testen, bevor Hardware zum Einsatz kommt. Anschließend können mit multimodalen Modellen synthetische Szenarien erzeugt und Bilder von Arbeitszellen automatisch beschriftet werden.
• Trainieren: Mit räumlichem Zeigen, Momenterkennung und Fortschrittsklassifizierung des Modells lassen sich Demonstrationsvideos in Cloud Storage und BigQuery aufbereiten und beschriften. Danach werden eigene VLA-Modelle über die Gemini-Plattform, GKE oder Cluster Director trainiert.
• Betreiben: Workflows werden mit Enterprise-IAM, Sicherheitskontrollen und integriertem Function Calling bereitgestellt. Latenzkritische Workloads wie SLAM und Pfadplanung lassen sich mit Google Distributed Cloud in die Fabrikhalle auslagern, Flottentelemetrie fließt in BigQuery.

Google erklärt, Organisationen könnten damit erstmals das neueste Modell für verkörpertes Schlussfolgern mit Sicherheit, Multi-Agenten-Orchestrierung und Lifecycle-Management von Google Cloud kombinieren.

Erste Stimmen von Kunden

In der Ankündigung kommen mehrere Organisationen zu Wort. Marco da Silva, VP und General Manager von Spot bei Boston Dynamics, sagte, die Möglichkeit, KI-Modelle auf Video anzuwenden, eröffne bei Inspektionen "eine völlig neue Welt an Möglichkeiten". Chris Liu, Mitgründer und CTO von DeepReach, erklärte, das Modell liefere dem Unternehmen ein präzises Aufgabenverständnis jeder Aufnahme, um die relevantesten Daten zu finden.

Prof. Loh Xian Jun von ASTAR IMRE sagte, das Institut nutze das Modell, um Laborrobotern die Flexibilität zu geben, mit vorhandener Infrastruktur zu arbeiten, etwa einen Touchscreen an einem älteren Mikrowellenreaktor ohne API auszulesen. Barrie Mullins von Arm bezeichnete das Modell als "einen wichtigen Schritt" für physische KI.

Was das für Entwickler bedeutet

Entwickler und Unternehmensteams können ab sofort in der Vorschau über den Model Garden der Gemini-Plattform loslegen. Google verweist auf Dokumentation, Preise, Beispielcode und Leitfäden zum bidirektionalen Streaming in der Gemini-API-Robotics-Dokumentation sowie auf Benchmarks und einen technischen Sicherheitsbericht in der Ankündigung von Google DeepMind. Da sich das Modell in der öffentlichen Vorschau befindet, können Teams es zunächst in der Simulation und auf eigenen Robotern testen. Die umgebenden Cloud-Tools decken dabei den Weg vom Experiment bis zur Produktion ab.