AI21: Post-Training hebt Nemotron 3.5 Super über Frontier-Qualität

Ein Payroll-Modell für sich ändernde lokale Regeln

Deel unterstützt laut AI21 mehr als 45.000 Unternehmen in über 150 Ländern. Fragen zur Lohnabrechnung können von lokalen Steuervorschriften, Arbeitsverträgen und Unternehmensrichtlinien abhängen, die sich regelmäßig ändern. Antworten müssen außerdem Deel’s Terminologie, Richtlinien und Stil entsprechen.

AI21 und Deel bewerteten das Modell mit EmBench Payroll, dem öffentlichen Payroll-Benchmark von Emet. Jede Frage enthält 3, 6 Rubrik-Aussagen, die sowohl Fakten als auch die vollständige Beantwortung und Einordnung der Situation abdecken. Der Benchmark weist zwei Messwerte aus: den durchschnittlichen Anteil erfüllter Aussagen und den Anteil der Fragen, bei denen jede Aussage erfüllt ist.

Claude Opus 5.5 erfüllte laut AI21 64,0 % der Kriterien und beantwortete 26,3 % der Entwicklungsfragen vollständig. Das Basismodell Nemotron 3.5 Super erreichte bei der Kriterienmessung 51,3 %. Deel suchte ein offenes Modell, das ohne zusätzliche Prompts vollständige Antworten zu geringeren Kosten als Frontier-Modelle liefern konnte.

Zweistufiges Training verbessert die Vollständigkeit

Die Analyse von AI21 ergab, dass viele der fehlerhaften Antworten des Basismodells eher unvollständig als falsch waren. Das Modell formulierte häufig vorsichtig, obwohl die Rechtslage eindeutig war, ließ Zahlenangaben aus oder übersprang wichtigen Kontext. Laut AI21 deutete dies darauf hin, dass dem Modell das erforderliche Wissen häufig bereits vorlag, es aber zu vollständigeren Antworten angeleitet werden musste.

In der ersten Phase nutzten die Forschenden ein richtliniennahes überwachtes Fine-Tuning, kurz SFT. Sie erzeugten Antworten mit Hinweisen zur Rolle des Modells, zum erwarteten Detailgrad, zu Deel’s Terminologie und zu gängigen Unterscheidungen. Die Hinweise fügten kein neues Fachwissen hinzu. Das Team wählte 412 Antworten aus, die jede Aussage der Bewertungsrubrik erfüllten, und trainierte das Modell damit, wobei die Hinweise entfernt wurden.

Die Leistung im Entwicklungsdatensatz stieg von 0,513 / 0,100 auf 0,657 / 0,229, gemessen an den erfüllten Kriterien und an der Erfüllung aller Kriterien. Anschließend setzte AI21 Self-Distillation Policy Optimization, kurz SDPO, mit einem Datensatz aus 698 Fragen ein. Ausgehend vom SFT-Checkpoint wurde mit 0,720 / 0,339 das stärkste Ergebnis erzielt.

Kosten- und Qualitätsgewinne für einen spezialisierten Anwendungsfall

AI21 berichtet für den Anwendungsfall der globalen Lohnabrechnung eine Qualitätsverbesserung um 20,7 Punkte gegenüber dem Basismodell und um 8 Punkte gegenüber Claude Opus 5.5. Außerdem sei das resultierende Modell bei den Kosten pro 1 Mio. Tokens 50-mal günstiger als Opus 5.5.

Das Unternehmen führt das Ergebnis auf die Kombination aus Deel’s fachkundigen Bewertungskriterien sowie sequenziellem SFT- und SDPO-Training zurück. Die kleinen Datensätze wurden eng an der Ausgabeverteilung des Modells gehalten, während SDPO neue Rollouts erzeugte und aus Fragen lernen konnte, die das Modell weiterhin falsch beantwortete, ohne eine Musterlösung zu benötigen.

Für Anwender legt die Fallstudie nahe, dass gezieltes Post-Training die Fähigkeit eines offenen Modells verbessern kann, vollständige, domänenspezifische Antworten zu liefern, wenn fachkundige Benchmarks und sorgfältig entwickelte Trainingsmethoden verfügbar sind. Die berichteten Verbesserungen gelten für Deel’s Anwendungsfall der globalen Lohnabrechnung und belegen keine allgemeine Verbesserung über verschiedene Aufgaben hinweg.