AWS: Supervised Fine-Tuning behebt das rein englische Denken von GPT-OSS-20B, GRPO bringt weniger

Das Problem: Ein Reasoning-Modell, das auf Englisch denkt

GPT-OSS-20B ist ein Reasoning-Modell mit offenen Gewichten. Laut AWS bestätigt es die Anweisung, auf Französisch, Deutsch, Spanisch oder Italienisch zu denken, und erzeugt seine Chain-of-Thought dann trotzdem auf Englisch. In einem mehrsprachigen Reasoning-Test mit 50 Beispielen dachte das Basismodell nur in 22 Prozent der Fälle (11 von 50) in der richtigen Zielsprache.

Dieses Ergebnis stammte fast ausschließlich von den englischen Beispielen. Pro Sprache erreichte das Basismodell bei Englisch 100 Prozent, bei Französisch 0 Prozent, bei Deutsch 10 Prozent, bei Spanisch 0 Prozent und bei Italienisch 0 Prozent. AWS argumentiert, das sei für Teams relevant, die nicht englischsprachige Nutzer bedienen: Wer eine Frage auf Französisch stellt, erwarte, dass das Modell auf Französisch denkt und antwortet, statt mitten im Gedankengang ins Englische zu wechseln.

Der Beitrag nutzt den Fall, um eine Frage zu beantworten, vor der Teams bei der Anpassung von Open-Weight-Modellen stehen: Supervised Fine-Tuning (SFT), Reinforcement Learning mit Group Relative Policy Optimization (GRPO) oder beides? AWS fasst die Antwort so zusammen: SFT leistet den Großteil der Arbeit, GRPO verfeinert, wenn es noch Spielraum dafür gibt, und über das Ergebnis entscheidet, ob die Technik zur jeweiligen Fähigkeitslücke passt.

Aufbau: Datensatz, Evaluierung und Trainings-Stack

Das Team verwendete den Datensatz HuggingFaceH4/Multilingual-Thinking, eine Chain-of-Thought-Sammlung, die neben Englisch auch ins Französische, Spanische, Deutsche und Italienische übersetzt wurde. Er umfasst rund 949 Trainings- und 50 Validierungsbeispiele. Das Modell erhält im System-Prompt die Anweisung, in welcher Sprache es denken soll, und muss in dieser Sprache sowohl Reasoning als auch Antwort liefern.

Die Evaluierung umfasst 50 Testfälle: 10 Mathematik- und Logikaufgaben in fünf Sprachen. Gemessen werden zwei Werte: ob die Chain-of-Thought in der gewünschten Sprache verfasst ist und ob die endgültige Antwort in der gewünschten Sprache vorliegt.

AWS ordnet die beiden Verfahren mit einer einfachen Regel ein. SFT bringt dem Modell ein Verhalten bei, das es nicht beherrscht, während GRPO ein Verhalten optimiert, das das Modell bereits gelegentlich zeigt. GRPO zieht pro Prompt eine Gruppe von Antworten und verschiebt die Policy in Richtung der überdurchschnittlichen. Hat das gewünschte Verhalten in der Basisverteilung die Wahrscheinlichkeit null, gibt es daher kaum etwas zu verstärken.

Die Läufe erfolgten auf Amazon SageMaker HyperPod mit Amazon-EKS-Orchestrierung. Für die ersten SFT- und GRPO-Läufe mit GPT-OSS-20B kam die PyTorch-Bibliothek TRL zum Einsatz. Für ein Kontrollexperiment mit Qwen2.5-7B an zwei Aufgaben mit unterschiedlich großen Fähigkeitslücken wechselte AWS zu veRL mit Ray, KubeRay und vLLM. Checkpoints und Datensätze lagen auf Amazon FSx for Lustre, als Verbindung zwischen den Knoten diente Elastic Fabric Adapter, und das gesamte Fine-Tuning nutzte Low-Rank Adaptation (LoRA).

SFT-Ergebnisse: Reasoning behoben, Antworten hinken hinterher

Der SFT-Lauf nutzte LoRA mit r=8 und α=16 und wurde über 1.000 Schritte auf 4× ml.g6e.12xlarge-Instanzen (16× L40S 48GB) mit Fully Sharded Data Parallel, bf16-Präzision und Gradient Checkpointing trainiert. Der Job lief als elastischer HyperPodPyTorchJob, verwaltet von Kueue.

Nach dem SFT dachte das Modell in allen fünf Sprachen zu 100 Prozent (50 von 50) in der richtigen Sprache. Laut AWS verlief das Lernen in zwei Phasen: Etwa bei Schritt 200 lernte das Modell, in der Zielsprache zu denken. Etwa bei Schritt 1000 lernte es zusätzlich, auch die Antwort in der Zielsprache zu geben.

• Reasoning-Sprache korrekt: 100 Prozent (50/50)
• Antwortsprache korrekt: 62 Prozent (31/50)
• Beides korrekt: 62 Prozent (31/50)
• Genauigkeit der Antwortsprache pro Sprache: FR 60 Prozent, DE 60 Prozent, ES 30 Prozent, IT 60 Prozent, EN 100 Prozent

Bei der Antwortsprache gibt es noch Luft nach oben, besonders bei Spanisch mit 30 Prozent. Dem Beitrag zufolge ist SFT hier unverzichtbar, weil das Basismodell der Anweisung zur Reasoning-Sprache nicht folgen kann. Der vorliegende Quelltext endet vor den GRPO-Ergebnissen und den vollständigen Ergebnissen der Qwen-Kontrolle.

Was das für Teams bedeutet, die Open-Weight-Modelle anpassen

Für Teams, die Open-Weight-Modelle an neue Sprachen oder Verhaltensweisen anpassen, liefert der AWS-Beitrag eine praktische Reihenfolge. Kann das Modell das Verhalten noch gar nicht zeigen, sollte man mit SFT beginnen. GRPO versteht AWS als Verfeinerungsschritt für Fälle, in denen das Modell das Verhalten zumindest gelegentlich bereits zeigt.

Der Beitrag veröffentlicht außerdem seine Befehle, Manifeste und Skripte im GitHub-Repository awsome-distributed-ai. Teams mit einem SageMaker-HyperPod-Cluster auf Basis von Amazon EKS können so das GPT-OSS-20B-Setup nachbauen. Als Voraussetzungen nennt AWS unter anderem EFA-fähige Instanzen, ein FSx-for-Lustre-Dateisystem und ein HuggingFace-Zugriffstoken für Modell und Datensatz.