Modal zeigt stabiles RL-Training mit Samplern in gemischter Präzision und auf gemischten Beschleunigern

Warum gemischte Sampler

Laut Modal laufen Sampler beim RL großer Modelle meist auf denselben Beschleunigern und oft in derselben Präzision wie der Trainer. Das hält beide numerisch nah beieinander und das Training stabil. Serving-Systeme außerhalb von RL kennen diese Beschränkung nicht. Sie können Formate mit niedriger Präzision wie FP8, MXFP4 und NVFP4 nutzen, aufeinander abgestimmte Kernel einsetzen und sogar Beschleuniger verwenden, die für Prefill bei langem Kontext gebaut sind.

Modal weist darauf hin, dass das Sampling bei großen RL-Läufen bereits 80 bis 85 % der GPUs beansprucht. Schränkt man die Sampler ein, bleiben daher Einsparungen ungenutzt. Das Unternehmen fragt, ob Sampler mit unterschiedlichen Präzisionen, Beschleunigern und Kerneln einen einzigen Trainer speisen können, ohne dass das Training an Stabilität und Leistung verliert.

Es nennt zwei Hürden. Die erste betrifft das Lernen: Jede Optimierung vergrößert die Diskrepanz zwischen Training und Inferenz, wodurch die Samples stärker Off-Policy werden, was das Training häufig destabilisiert. Die zweite betrifft das System: RL-Infrastruktur ist meist um homogene Cluster herum gebaut, während gemischte Sampler Beschleuniger brauchen, die sich bei Bedarf hoch- und herunterskalieren lassen.

Der Versuchsaufbau

Modal trainierte Qwen3.6-35B-A3B auf agentisches Coding mit bis zu 256K Tokens Kontext. Grundlage waren die 2,7K Repository-Aufgaben, die Xiaomi mit MiMo-V2.6 veröffentlicht hat. Das Unternehmen entfernte die Repository-Historie und andere Spuren, über die manche Aufgaben die Referenzlösung preisgeben. In jeder Episode schreibt das Modell über mehrere Runden einen Patch und reicht ihn über ein Bash-Tool in einer Modal Sandbox ein. Die Belohnung beträgt 1, wenn der Patch die Tests der Aufgabe in einer frischen Sandbox besteht, sonst 0. Die Evaluierung erfolgt mit SWE-bench Pro V2, das sich nicht mit dem Trainingsset überschneidet, sowie mit dessen schwerer Teilmenge HARD-51. Jeder Checkpoint wird in BF16 evaluiert.

Als Framework dient Miles, mit SGLang-Samplern und einem Megatron-LM-Trainer, der die Policy in BF16 auf B200-GPUs aktualisiert. Das Training läuft vollständig asynchron ohne Obergrenze für die Staleness, und jedes Update nutzt 128 Prompts mit je 8 Trajektorien. Der Trainer spielt die MoE-Routing-Entscheidungen der Sampler nicht erneut ab.

Die gemischten Sampler umfassen sechs Beschleunigertypen. B200 und B300 liefern NVFP4-Gewichte, H100 und H200 FP8- und BF16-Gewichte, A100 und RTX PRO 6000 BF16-Gewichte. Jeder nutzt eigene Kernel und hält seinen KV-Cache in FP8. Ein Router weist jede Agentensitzung im Verhältnis zur Serving-Kapazität einer von acht Gruppen zu. Die homogene Baseline läuft ausschließlich auf B200 mit BF16-Gewichten und BF16-KV-Cache.

Was das Training stabil hält

Modal geht von GRPO ohne Korrektur aus und ergänzt drei Bausteine:

• Masked Importance Sampling (MIS) multipliziert den Term jedes Tokens mit seinem Importance-Verhältnis und maskiert Tokens, deren Verhältnis außerhalb eines festen Bereichs liegt. So bleiben die Verhältnisse beschränkt.
• Score Centering (SC) beseitigt Drift, indem es den erwarteten Gradienten der Log-Wahrscheinlichkeit unter der Sampling-Policy abzieht.
• Top-p-Sampling mit Mask Replay zieht nur aus der Top-p-Kandidatenmenge, und der Trainer renormalisiert seine Wahrscheinlichkeiten über dieselbe Menge. Seltene Tokens mit extremen Verhältnissen gelangen so gar nicht erst in die Daten.

Reines GRPO kollabiert in beiden Setups. Bei den gemischten Samplern geschieht das kurz nach Trainingsbeginn, bei den homogenen Samplern hält es länger durch, bevor es ebenfalls kollabiert. Jede Korrektur für sich verzögert den Kollaps nur, und jeder solche Lauf endet auf dem Niveau des Basismodells oder darunter. Nur SC + MIS, mit oder ohne Top-p, trainiert bis zum Ende stabil. Pass@4 steigt über etwa die ersten 100 bis 140 Schritte und pendelt sich dann bei rund 65 bis 75 % auf HARD-51 ein. Auf dem gesamten Set steigt der Wert von 89 % auf etwa 94 %.

Modal berichtet, dass jeder Kollaps drei Merkmale teilt: Die Trainings-Belohnung sinkt, die KL-Divergenz zwischen Sampler und Trainer wächst um das Dreifache oder mehr, und die meisten Episoden enden mit wiederholten Formatfehlern. In kollabierten Episoden hört das Modell mitten in einer Aufgabe auf, sein Tool aufzurufen. Beim Checkpoint nach Schritt 40 von GRPO auf den gemischten Samplern enden 62 % der Evaluierungsepisoden so, im Median nach 22 Runden, gegenüber 57 Runden bei bestandenen Episoden.

Gleichauf mit homogenen Samplern, bei niedrigeren Kosten

Mit SC + MIS + Top-p erreichen die gemischten Sampler auf SWE-bench Pro V2 Werte auf dem Niveau der homogenen Sampler, und das Pass@4 beider Läufe bleibt während des gesamten Trainings eng beieinander. Trainings-Belohnung und Gradientennorm verlaufen ähnlich, obwohl die KL-Divergenz zwischen Sampler und Trainer im Schnitt 4,7-mal größer ist. Die Entropie stimmt bis etwa Schritt 160 überein, steigt dann bei den homogenen Samplern an und bleibt bei den gemischten flach.

Über den größten Teil des Trainings lagen die Kosten der Sampler pro Update bei den gemischten Samplern etwa 15 % niedriger. Modal erklärt, das Setup sei darauf ausgelegt gewesen, die Leistung zu validieren, nicht die Kosten zu minimieren. Weitere Einsparungen seien daher möglich, indem man jeden Sampler abstimmt und die Mischung zu den kosteneffizientesten verschiebt.

Was das bedeutet

Die Ergebnisse legen nahe, dass RL-Teams das Sampling nicht an Hardware und Präzision des Trainers binden müssen, sofern sie eine Off-Policy-Korrektur anwenden und heterogene Beschleuniger bei Bedarf skalieren können. Modal sagt, an der Korrektur sei nichts spezifisch für dieses Modell oder diese Beschleuniger, und erwartet daher, dass das Muster auch breiter gilt. Die bisherige Evidenz stammt allerdings von einem einzigen Modell und einer einzigen Aufgabenfamilie.