Google trainiert Gemma 4 für agentisches Reinforcement Learning über mehrere Dialogrunden

Google hat eine Pipeline für agentisches Reinforcement Learning über mehrere Dialogrunden vorgestellt. Sie trainiert Gemma 4 darin, Werkzeuge zu nutzen, auf Feedback zu reagieren und sich über mehrere Schritte anzupassen. Das Beispiel verwendet Tunix und einen einzelnen Cloud-TPU-v6e-8-Host, um einen Agenten für das Brettspiel Plane Strike zu trainieren.
- Google demonstriert agentisches Reinforcement Learning über mehrere Dialogrunden mit Tunix und Gemma 4.
- Das Beispiel trainiert einen Agenten, Plane Strike auf einem Cloud-TPU-v6e-8-Host zu spielen.
- Das Modell verwendet Werkzeugaufrufe, um Angriffe auszuwählen und über mehrere Runden Spielfeld-Feedback zu verarbeiten.
- Google meldet nach 100 Trainingsschritten einen Anstieg der Gewinnrate von 9.4% auf 95%.
- Die durchschnittliche gemeldete Spieldauer sinkt von 22.44 auf etwa 16 Angriffe.
Gemma 4 spielt ein Brettspiel mit Werkzeugaufrufen
Die von Google for Developers am 19. Nov. 2026 veröffentlichte Demonstration konzentriert sich auf Plane Strike, ein Spiel auf einem 6x6-Raster von A1 bis F6. Ein 8 Felder großes Flugzeug ist in einer von 4 Ausrichtungen verborgen. In jeder Runde sieht der Agent das Ergebnis seines vorherigen Angriffs und das sichtbare Spielfeld, auf dem die Felder als noch nicht ausprobiert, getroffen oder verfehlt markiert sind. Anschließend ruft er das Werkzeug strike(cell="...") auf.
Das Spiel endet, sobald alle 8 Flugzeugfelder getroffen wurden oder nach 23 Angriffen. Google verwendet Gemma 4 E2B im Denkmodus und ersetzt damit eine frühere benutzerdefinierte MLP-Richtlinie. Der vollständige Code ist im GitHub-Repository verfügbar, auf das der Beitrag des Unternehmens verweist.
Tunix verbindet Umgebung, Modell und Lernkomponente
Googles Pipeline ist in vier Komponenten gegliedert: eine Aufgabenumgebung, einen Parser für Werkzeuge und Chat-Vorlagen, einen Konversationsagenten sowie die Sammlung von Trajektorien mit einem Agentic-GRPO-Lerner. Die Umgebung verfolgt die Position des verborgenen Flugzeugs, wertet jeden Angriff aus, aktualisiert das sichtbare Raster und berechnet die Belohnungen über die gesamte Episode.
Der Gemma-4-Parser ergänzt die Systemaufforderung um Werkzeugdeklarationen und verarbeitet native Werkzeugantworten. Dadurch kann das Modell nach einem Werkzeugaufruf pausieren, die Antwort des Spielfelds erhalten und innerhalb desselben Assistentenbeitrags den nächsten Gedanken und Werkzeugaufruf erzeugen. Der Konversationsagent übersetzt Beobachtungen in Modellnachrichten und akzeptiert nur eine abschließende Antwort mit genau einem gültigen Strike-Aufruf als gültige Spielfeldkoordinate.
Für das Training verwendet Tunix eine asynchrone vllm-Rollout-Engine und aktiviert kontinuierliche Rollouts über mehrere Dialogrunden. Google aktiviert außerdem das Präfix-Caching für den wachsenden Gesprächsverlauf. Auf dem Cloud-TPU-v6e-8-Host teilen sich das Akteursmodell, das Referenzmodell und die Rollout-Worker die 8 Chips.
Das Training verbessert die gemeldeten Spielergebnisse deutlich
Laut Google gewinnt das untrainierte Modell google/gemma-4-E2B-it 9.4% der Partien auf zurückgehaltenen Spielfeldern und benötigt durchschnittlich 22.44 Angriffe. Nach 100 Schritten agentischen GRPO-Trainings mit Tunix erreicht die gemeldete Gewinnrate 95%, während die durchschnittliche Spieldauer auf etwa 16 Angriffe sinkt.
Das Beispiel zeigt, wie Googles Tunix-Werkzeuge für Agenten eingesetzt werden können, deren Aufgaben wiederholte Interaktionen mit einer Umgebung statt nur einer einzelnen Modellantwort erfordern. Der Beitrag beschreibt einen Implementierungsweg für Entwickler, die mit mehrstufiger Werkzeugnutzung arbeiten, einschließlich eigener Umgebungslogik, des Werkzeugaufrufformats von Gemma 4 und Reinforcement Learning auf Cloud TPUs.
Google for Developers: Multi-Turn Agentic Reinforcement Learning with Tunix and Gemma 4 on Google TPUs- Google Developers Blog


