AI21 und Alice trimmen Nemotron 3.5 Super VL per Post-Training auf höhere Angriffsresistenz als GPT-6.1 Sol
AI21 Labs hat nach eigenen Angaben mit seinen Forward-Deployed Researchers und dem KI-Sicherheitsunternehmen Alice das Modell Nemotron 3.5 Super VL von NVIDIA in drei Wochen per Post-Training so angepasst, dass es Angriffen wie indirekter Prompt Injection widersteht. Laut AI21 liegt die Angriffsresistenz damit 41 Punkte über dem Basismodell und 10 Punkte über GPT-6.1 Sol, bei 25-fach niedrigeren Kosten pro 1 Mio. Tokens.
- Die Forward-Deployed Researchers von AI21 haben NVIDIA Nemotron 3.5 Super VL gemeinsam mit Alices Forschungsteam in drei Wochen per Post-Training angepasst.
- Laut AI21 stieg die Angriffsresistenz um 41 Punkte gegenüber dem Basismodell und um 10 Punkte gegenüber GPT-6.1 Sol.
- AI21 zufolge ist das Modell gemessen an den Kosten pro 1 Mio. Tokens 25-mal günstiger als GPT-6.1 Sol.
- Das Training nutzte SFT mit umformulierten Rollouts, das den Anteil der Aufgaben mit Reward-Varianz ungleich null von 35 auf 66 Prozent steigerte, gefolgt von GRPO ohne Normalisierung per Standardabweichung.
Agenten gegen Angriffe wappnen, ohne ihren Nutzen einzubüßen
Alice entwickelt Reinforcement-Learning-Umgebungen für das Post-Training. Laut dem Beitrag fließen dabei Erkenntnisse über das Verhalten realer Angreifer sowie Beiträge von mehr als 150 fest angestellten Sicherheitsforschern und Mitgliedern eines Expertennetzwerks ein. Alice stellte AI21 eine Reihe von RL-Gyms zur Verfügung, mit denen Agenten in Unternehmensumgebungen lernen, Sicherheitsbedrohungen abzuwehren, darunter Tools wie Slack und GitHub.
Eines der Ziele ist die Abwehr indirekter Prompt Injection: Schädliche Anweisungen werden in Informationen versteckt, die ein Agent mit seinen Tools liest. AI21 nennt als Beispiel einen Agenten, der Mitarbeitende auf Slack an das Zurücksetzen ihres Passworts erinnern soll, wobei der Reset-Link manipuliert wurde und Zugangsdaten preisgeben könnte. Ein trainierter Agent sollte das Problem erkennen und blockieren, die Mitarbeitenden aber trotzdem auffordern, ihr Passwort zurückzusetzen.
Angestrebt sind Agenten, die sowohl bei der Abwehr von Angriffen als auch bei der Aufgabenerledigung hohe Werte erzielen, sodass keines von beidem auf Kosten des anderen geht.
Zwei Herausforderungen und das Trainingsrezept
AI21 beschreibt zwei zentrale Herausforderungen. Die erste bestand darin, die Angriffsresistenz zu verbessern, ohne die Leistung bei regulären, harmlosen Aufgaben zu beeinträchtigen. Ein Agent, der nach dem Erkennen einer Bedrohung einfach seine Arbeit einstellt, schützt zwar das Unternehmen, ist aber nicht nützlich. Die zweite betraf die Daten: Der Trainingsdatensatz umfasste einige hundert Beispiele, weshalb das Team Overfitting vermeiden musste.
Jedes Alice-Gym ist als Harbor-Task mit eigenem Container-Image verpackt, das einen simulierten Arbeitsplatz enthält. Für jeden Rollout startet die AI21 Training Platform eine frische, isolierte Sandbox, in der alles bleibt, was der Agent als Reaktion auf einen Angriff tut. Dieselbe Infrastruktur diente dazu, Trajektorien für das Supervised Fine-Tuning (SFT) zu erzeugen, Live-Rollouts für GRPO zu liefern und jeden Checkpoint zu evaluieren.
Das Team schaltete zunächst eine SFT-Phase vor, weil in der ersten Evaluierung die Rewards der Nemotron-3.5-Super-Rollouts innerhalb einer Gruppe kaum variierten, GRPO aber nur lernt, wenn sie es tun. Nach dem SFT stieg der Anteil der Trainingsaufgaben mit einer Standardabweichung der Rewards ungleich null von 35 auf 66 Prozent.
Die SFT-Daten stammten aus erfolgreichen Rollouts mehrerer offener Modelle. Um deren lange, mitunter repetitive Begründungen und ihren Schreibstil nicht zu übernehmen, ließ das Team Nemotron 3.5 Super die Reasoning-Passagen jeder Trajektorie in eigenen Worten umformulieren, wobei sämtliche Aktionen unverändert blieben. Laut AI21 lagen die ursprünglichen Rollouts bei einer Perplexity vom ×1,99-Fachen der Rollouts des Basismodells, eine darauf trainierte Policy driftete auf ×1,40, eine mit umformulierten Daten trainierte blieb bei ×1,23. Der Checkpoint mit den umformulierten Daten erreichte die Qualität des Originals und erzeugte dabei deutlich weniger Tokens.
Reward Shaping im Online-RL
In der zweiten Phase führte das Team Online-RL mit GRPO durch. Das klassische GRPO zieht von jedem Reward den Gruppenmittelwert ab und teilt dann durch die Standardabweichung der Gruppe. AI21 hielt das für ungeeignet für Alices Gyms, die dichte, kontinuierliche Rewards verwenden. Die Division durch die Streuung verwirft die Größe der Reward-Differenz: Gruppen mit Rewards [0,49; 0,51] und [0; 1] ergeben beide die Advantages [−1, +1]. Kleine, womöglich verrauschte Unterschiede, etwa eine leichte Verschiebung der Bewertung durch einen LLM-Judge, können so zu Gradienten voller Stärke verstärkt werden.
Das Team verzichtete daher auf die Normalisierung per Standardabweichung und behielt nur die Baseline aus dem Gruppenmittelwert. Laut der Bildbeschreibung im Beitrag hob der Verzicht den Reward über das Niveau hinaus, das allein mit der Wiederholungsstrafe erreicht wurde, und eine zusätzliche Längenstrafe verhinderte, dass das Reasoning länger wurde, während der höchste Reward erzielt wurde. Der Quelltext bricht ab, während eine weitere Reward-Anpassung eingeführt wird.
Was das bedeutet
AI21 sieht in der Arbeit einen Beleg dafür, dass spezialisierte offene Modelle Frontier-Qualität zu einem Bruchteil der Kosten übertreffen können. Nemotron 3.5 Super VL habe sich von einer Qualität und Kostenstruktur, die mit GPT-6.1 Luna vergleichbar ist, zu einem Modell entwickelt, das GPT-6.1 Sol schlägt. Da Unternehmen Agenten breiten Zugriff auf sensible Informationen und Mitarbeitende geben, sei es laut AI21 unerlässlich, dass diese Agenten Angriffe erkennen und stoppen können. Die Ergebnisse zeigten, dass hohe Angriffsresistenz und Aufgabenerfüllung nebeneinander bestehen können.
