Patronus AI beschreibt eigenen Post-Training-Stack und erste Ergebnisse mit Qwen3.8-27B

Was die ersten Experimente zeigten

Patronus AI testete zwei Rezepte: überwachtes Feintuning (SFT) mit anschließendem Reinforcement Learning (RL) sowie RL allein. Als Basismodell diente Qwen3.8-27B, das Alibaba bereits nachtrainiert hat. Trainiert wurde auf zwei Aufgabenfamilien: Computer Use in der GitHub-Anwendung und Unreal-Engine-Entwicklung in fünf separaten Projekten.

Bei den zurückgehaltenen GitHub-Aufgaben löste das Ausgangsmodell 35,6 %. SFT auf 41 Trajektorien brachte 5,4 Punkte, was laut Unternehmen zu wenig ist, um es vom Rauschen zu unterscheiden. RL legte bis Schritt 40 weitere 6,8 Punkte zu, das ergibt 47,8 % und einen Sprung von 12,2 Punkten. RL allein erreichte bei Schritt 40 45,4 % (+9,8). Bei längerem Training bis Schritt 60 kam RL allein auf 49,2 % (+13,6).

Bei den Unreal-Engine-Aufgaben löste das Ausgangsmodell bereits 64,3 %, sodass weniger Spielraum blieb. SFT mit anschließendem RL kam auf 71,5 % (+7,2), RL allein auf 73,1 % (+8,8). Laut Patronus sank die Zahl der Fehlschläge mit SFT plus RL um etwa ein Fünftel und mit RL allein um rund ein Viertel. In beiden Aufgabenfamilien behob das Training etwa ein Fünftel der Fehler des Ausgangsmodells.

Einschränkungen, auf die das Unternehmen selbst hinweist

Die Aufgabensätze waren klein: 46 zurückgehaltene GitHub-Aufgaben und 54 zurückgehaltene Unreal-Aufgaben. Patronus zufolge sind die Zuwächse größer als das Rauschen, die Verbesserung gegenüber dem Ausgangsmodell sei also real. Der Abstand zwischen SFT plus RL und RL allein beträgt etwa 2 Prozentpunkte und liegt nach Angaben des Unternehmens im Rauschen, sodass sich nicht sagen lasse, welche Methode wirksamer ist.

Dass RL allein ungefähr so gut abschneidet wie SFT plus RL, deckt sich laut Patronus mit Forschungsergebnissen der breiteren Community. Das Unternehmen verweist auf DeepSWE und SWE-RL, wo RL allein Coding-Agenten geholfen habe. Zudem begünstige der eigene Aufbau das SFT-Rezept leicht, da Kimi-K3 sowohl als Expertenmodell für die Auswahl der zurückgehaltenen Aufgaben als auch als Autor der SFT-Daten diente.

Die Checkpoints wurden vor der Auswertung festgelegt und sind nicht die am besten bewerteten. Der Quelltext beschreibt außerdem eine Prüfung von 50 erfolgreichen Durchläufen, mit der sichergestellt werden sollte, dass das Modell kein Reward Hacking betreibt. Der Auszug endet jedoch vor den Ergebnissen.

So funktioniert der Stack

Patronus beschreibt fünf Stufen, die vom Training bis zu einem gemeinsamen Leaderboard in einer Schleife laufen. Ein Befehl startet SFT oder RL, Checkpoints werden hochgeladen und zu vollständigen Modellen zusammengeführt, und mit einem Klick wird aus einem Checkpoint ein OpenAI-kompatibler vLLM-Endpunkt, ein Modell pro Node. Die Evaluierungsplattform lässt anschließend die Benchmark-Suite mit zurückgehaltenen Aufgaben unter einem gemeinsamen Preset laufen. Die Ergebnisse landen in einem Leaderboard, das Basis- und nachtrainierte Modelle mit demselben Preset, denselben Datensatz-Hashes und denselben Umgebungen vergleicht.

Das Unternehmen nennt das Leaderboard die unscheinbarste Stufe, für das Forschungsteam aber die wichtigste, weil es Testaufgaben, Versuche und Regeln für Infrastrukturfehler konstant hält. Die Plattform legt Snapshots des Codes an, erfasst den Git-Commit samt nicht committeter Änderungen und startet Jobs über Slurm. Ein Web-Dashboard erlaubt das Abbrechen sowie Sweeps über bis zu 50 Jobs und verlinkt jeden Lauf mit der zugehörigen Weights-&-Biases-Seite. Patronus zufolge sind die Stufen derzeit über Skripte verbunden; das Unternehmen will sie weiter automatisieren, bis ein einziger Trainingsbefehl vergleichbare Zahlen liefert.

Für SFT nutzte das Team NVIDIA NeMo Automodel mit LoRA auf dem Sprachmodell und Context Parallelism für lange Trajektorien. Für RL kam NeMo-RL mit GRPO zum Einsatz, wobei die in vLLM erzeugten Rollouts sich die GPUs mit dem Training teilen. Die Aufgaben laufen außerhalb des GPU-Clusters auf dem unternehmenseigenen Umgebungsdienst, wo jeder Versuch eine Sandbox mit der echten Anwendung, den Werkzeugen des Agenten und einem Grader erhält.

Aufgabendesign und Details der Auswertung

Nahezu identische Aufgaben, etwa umformulierte Varianten, werden gruppiert und vollständig dem Trainingsset zugeschlagen oder ganz davon ausgeschlossen, damit das Modell Trainingsaufgaben nicht auswendig lernt. Die zurückgehaltenen Aufgaben verteilen sich auf Projekte und Schwierigkeitsgrade und beschränken sich auf solche, die das Expertenmodell mindestens einmal gelöst hat. Für SFT dienten erfolgreiche Kimi-K3-Trajektorien, höchstens 4 pro Aufgabe und keine mehr als doppelt so lang wie die kürzeste Lösung.

Beim RL beträgt die Belohnung 1, wenn der Grader einer Aufgabe besteht. Da Modelle nur lernen, wenn manche Versuche gelingen und andere scheitern, stimmte Patronus den Schwierigkeitsgrad der Aufgaben auf das Modell ab. Daraus ergaben sich 175 GitHub-Aufgaben für SFT plus RL und 139 für RL allein, dazu 53 Unreal-Aufgaben für beide Rezepte. Jede zurückgehaltene Aufgabe wird achtmal ausgeführt, und einige Prozent der Versuche scheitern, weil die Umgebung ausfällt. Das verändert laut Unternehmen keinen der Zuwächse um mehr als einen Prozentpunkt.

Was das bedeutet

Die Ergebnisse sind früh und beruhen auf kleinen Stichproben. Patronus sagt jedoch, sie hätten den Aufbau eines eigenen Stacks gerechtfertigt, als die Aufgaben-Pipelines wuchsen. Das praktische Ziel ist Reproduzierbarkeit: Jeder im Team soll einer Zahl vertrauen können, ohne Experimente erneut laufen zu lassen.