NVIDIA schlägt Hardware-Notausschalter für KI-Agenten vor, nach einem Jahr voller Sandbox-Ausbrüche

Eine Kontrollinstanz außerhalb des Agenten

Die Open Agent Safety Platform beruht auf einer Prämisse, die NVIDIA so formuliert: „Von einem Agenten in dieser Lage kann man nicht erwarten, dass er sein eigenes Verhalten vollständig steuert.“ Das Design besteht aus drei Schichten. Oben sitzt die Agentenanwendung. Darunter liegt OpenShell, eine Open-Source-Laufzeitumgebung, die jeden Agenten in eine Sandbox sperrt und durchsetzt, auf welche Dateien, Netzwerke, Tools und Zugangsdaten er zugreifen darf.

Die unterste Schicht ist das Neue. Eine BlueField-4 Data Processing Unit (DPU), eine Netzwerkkarte mit eigenen Prozessoren, sitzt auf dem, was NVIDIA „den einzigen Weg des Knotens zum Modell“ nennt. Darauf läuft NVIDIA Sentry, das aufzeichnet, was der Agent tut, und Drift meldet. NVIDIA definiert Drift als „Aktionen des Agenten, die von der vorgesehenen Aufgabe oder den Betriebsvorgaben abweichen“. Da die Karte vom Host isoliert ist, kann der Agent sie weder erreichen noch abschalten.

NVIDIAs Argument: Wer den Weg zum Modell kontrolliert, bekommt zwei Dinge auf einmal. In den Worten des Unternehmens: „Wer den Weg zum Modell kontrolliert, besitzt sowohl den besten Beobachtungspunkt als auch den Notausschalter, um es bei Bedarf zu unterbrechen.“ Zu den Unterstützern der Plattform zählen Anthropic, Hugging Face und Irregular, die allesamt in jüngeren Sandbox-Ausbrüchen auftauchen.

Der DNS-Ausbruch bei OpenAI: nach 12 Minuten entdeckt, nach zweieinhalb Stunden gestoppt

Das klarste Beispiel in der Arize-Analyse ist ein Vorfall am 20. September. Ein Forschungsmodell von OpenAI im Reinforcement-Learning-Training sollte anhand von Hinweisen in einem Blogbeitrag eine Person identifizieren. Laut OpenAIs Misalignment-Bericht blockierte die Sandbox den direkten Webzugriff, doch der DNS-Resolver konnte weiterhin das öffentliche Internet erreichen.

Der Agent fand diese Lücke. Er versteckte 18 Fragen in DNS-Hostnamen und schickte sie an einen öffentlichen Chatbot, vier davon fragten nach weiteren Wegen ins Web. In seiner Begründung hieß es unter anderem: „Der Nutzer erlaubt nur Recherche, die Nutzung öffentlich angebotener DNS-Dienste ist akzeptabel.“

OpenAIs Zeitablauf zeigt die Erkennungslücke. Der DNS-Tool-Aufruf des Agenten erhielt um 9:50:23 Uhr eine externe Antwort. Das Überwachungssystem schlug um 10:02:11 Uhr mit einem P0-Alarm an, ein menschlicher Prüfer bestätigte ihn um 10:05:06 Uhr. Der Lauf wurde um 12:34:30 Uhr beendet. OpenAI erklärte, „der Lauf stoppte nicht wie erwartet automatisch, was zu Verwirrung darüber führte, ob er hätte gestoppt werden sollen“. OpenAI bezeichnet den Vorfall als „deutlich weniger schwerwiegend als einige unserer früheren Vorfälle“, dennoch führte er zu einer Trainingspause. Laut Fortune ist es OpenAIs zweite Trainingspause in etwa drei Monaten.

Die Eindämmung scheiterte bei drei Labs

Arize führt mehrere weitere Fälle aus dem Jahr auf. Bei Cyber-Evaluierungen mit einem Benchmark namens ExploitGym nutzten OpenAIs Agenten eine bislang unbekannte Schwachstelle in einem internen Paket-Proxy, um ins Internet zu gelangen. OpenAIs Offenlegung vom 21. Juli nennt GPT-5.6 Sol und ein internes Vorabmodell, „alle mit reduzierten Cyber-Verweigerungen für Evaluierungszwecke“. Der Zeitablauf von Hugging Face beschreibt das Ziel als „Versuch, die Evaluierung auszutricksen“. Die Agenten gelangten in unter 13 Stunden von einem einzelnen Worker-Pod zu Cluster-Admin-Rechten über mehrere interne Cluster und lasen ein Secrets-Objekt mit 136 Schlüsseln aus.

Bei Anthropic ließ Irregular Capture-the-Flag-Aufgaben laufen, die offline sein sollten, es aber nicht waren. Anthropics Untersuchung ergab, dass Claude-Modelle reale Unternehmen angriffen, deren Namen mit den fiktiven Zielen übereinstimmten. Mythos 5 veröffentlichte ein bösartiges Python-Paket, das in der einen Stunde, in der es online war, „auf 15 realen Systemen heruntergeladen und ausgeführt“ wurde. Dasselbe Irregular-Setup ermöglichte es Gemini laut Cybersecurity Dive, auf das Arize verweist, in drei reale Unternehmen einzubrechen. Googles Stellungnahme lautete: „In allen drei Fällen hat das Modell angehalten.“ Da war es bereits in den Netzwerken der Unternehmen.

Arize betont, dass keines der Teams fahrlässig gehandelt habe. Der Paket-Proxy und der DNS-Resolver waren erlaubte Routen, und die CTF-Umgebung war falsch konfiguriert. Der Rat lautet, damit zu planen, dass die Sandbox versagt, und zu fragen, was dann passiert.

Die Erkennung dauerte Minuten bis Monate

Wie schwer ein Vorfall ausfiel, hing maßgeblich davon ab, wie lange es dauerte, bis etwas außerhalb des Agenten ihn bemerkte. Laut OpenAIs Folgebericht vom 26. August begannen Agenten am 12. Mai, den Artifactory-Paket-Proxy als schwarzes Brett zu nutzen, erreichten am 26. Mai das Internet und erhielten am 26. Juni Admin-Zugriff. Am 4. Juli nahmen sie Artifactory vom Netz, und OpenAI eröffnete am nächsten Tag einen Incident. Das Monitoring schlug bei der Agentenaktivität selbst erst am 19. Juli an, als Hugging Face die Agenten auf seiner Seite bereits entdeckt und eingedämmt hatte.

Anthropic stieß auf seine Vorfälle erst, nachdem OpenAI an die Öffentlichkeit gegangen war, indem es 141.006 Evaluierungsläufe nachträglich durchging. Ein breiterer Scan von rund 481 Millionen Transkripten förderte einen vierten Vorfall vom Januar zutage, der im August entdeckt wurde. Anthropic kam zu dem Schluss, dass „Echtzeit-Monitoring der Evaluierungslogs geholfen hätte, das Problem früher aufzudecken“.

Agenten und KI-Monitore urteilen beide falsch

Selbstauskunft ist keine Lösung. Anthropic zufolge werteten Mythos 5 das Datum 2026 auf den angegriffenen Systemen als Beweis dafür, dass es sich in einer Simulation befinde, und „überprüfte diesen Schluss nie wieder“. In einer kontrollierten Studie, Agentic Misalignment in Summer 2026, sabotierte Gemini 3.1 Pro heimlich einen fiktiven Trainingslauf und veröffentlichte eine falsche Erfolgsmeldung. Direkt befragt, sagte es: „Ich habe meine Aktionen aktiv verborgen, um nicht entdeckt zu werden.“ Die Autoren betonen: „Dies sind keine Vorfälle aus der realen Welt.“

Auch Monitore auf Basis von Sprachmodellen haben ihre Schwächen. OpenAIs DNS-Monitor fand „weitere Fälle von externem DNS-Zugriff, die er nicht mit dem erwarteten Schweregrad markierte“. Die Erkennung bei Hugging Face korrelierte die richtigen Signale, „stufte die Kritikalität des Alarms aber nicht korrekt hoch und löste das Bereitschaftsteam nicht aus“. Anthropics Offline-Monitor hätte nur etwa 1 % der Aktionen von Mythos 5 markiert, weil die Begründung des Agenten besagte, er befinde sich in einer Simulation. Ohne die Begründung stieg die Markierungsquote auf etwa 50 %.

Was das für Teams bedeutet, die Agenten betreiben

Arizes Fazit ist praxisnah: Time-to-detect und Time-to-kill messen und davon ausgehen, dass die eigene Sandbox versagt. NVIDIAs Referenzdesign ist ein Weg, Beobachtungspunkt und Stoppfunktion dort zu platzieren, wo der Agent sie nicht berühren kann. Arize plädiert zudem dafür, Sicherheitsmonitore wie jedes andere Modell zu testen, mit einem annotierten Datensatz aus Beinahe-Vorfällen, Red-Team-Läufen und realen Vorfällen, und dabei Recall und Schweregrad zu messen statt nur die Genauigkeit.