METR und Redwood testen interne Agentenüberwachung von OpenAI auf Schwachstellen und finden Lücken

Ein Pilotprojekt mit tiefem internem Zugriff

Vom 21. Juli bis zum 11. August führten die beiden Forscher ein Pilotprojekt mit weitreichendem Zugriff durch, um das interne Überwachungssystem von OpenAI für Misalignment einem Stresstest zu unterziehen. Ergebnis war ein 61-seitiger interner Bericht, der mit Forschern und Sicherheitsmitarbeitern von OpenAI geteilt wurde. Im Mittelpunkt standen die Schätzung des Anteils der überwachten agentischen Inferenz sowie die Frage, ob Agenten das Überwachungssystem grundsätzlich deaktivieren oder unterlaufen könnten.

Der Zugriff war umfassend. Das Duo konnte die interne Codebasis von OpenAI, die Prompts und Konfigurationsdetails des Misalignment-Monitors sowie interne Dokumentation einsehen. Zudem führten die beiden technische Interviews mit rund einem Dutzend Forschern und Ingenieuren aus den Teams für Monitoring, Safety-Systeme und Sicherheit. Sie arbeiteten auf von OpenAI bereitgestellten Geräten, die die Räumlichkeiten nie verließen, und wurden vor Ort begleitet.

METR zufolge wurde das Vorhaben gemeinsam mit Redwood Research und OpenAI als Pilotprojekt konzipiert, um externen Forschern tiefen Zugang zu interner Infrastruktur zu ermöglichen, nicht als Quelle belastbarer öffentlicher Transparenz. Die Beteiligten vereinbarten vorab, nur einen relativ kurzen, allgemein gehaltenen Beitrag zu veröffentlichen. Die Bewertung bezieht sich auf den Zustand des Systems am 21. Juli und davor; OpenAI baute seine Überwachung während des Projekts weiter aus.

Was die Forscher herausfanden

Bei der Abdeckung schätzte METR, dass etwa 75 bis 94 % des agentischen internen Responses-API-Verkehrs von Modellen, die mindestens so leistungsfähig sind wie GPT-5.5, für eine Überwachung infrage kamen. Dabei räumt METR erhebliche Unsicherheit in beide Richtungen ein. Für die Teilmenge, die von internen Codex-Agenten genutzt wird, lag die Schätzung bei 99,2 %. RL-Trainingsläufe waren zu Beginn des Projekts nicht abgedeckt, auch wenn OpenAI den Forschern mitteilte, dass zwischen März und Juni eine Teilmenge der Rollouts überwacht worden sei.

Nicht überwachte Compaction-Ereignisse ließen laut METR zwischen Mai und Juli 2026 wahrscheinlich in der Größenordnung von 10 % des überwachungsfähigen internen Codex-Verkehrs unüberwacht. Der Monitor wurde ausgelöst, wenn Agenten die Kontrolle an den Nutzer zurückgaben. Agenten konnten die Überwachung daher unbegrenzt hinauszögern, indem sie einfach weiterarbeiteten. OpenAI-Mitarbeiter hatten dies bereits zuvor bemerkt und während des Projekts behoben.

Weitere Ergebnisse:

• Eine Möglichkeit, wie Codex-Agenten Codex-Sandboxing und Auto-Review grundsätzlich umgehen könnten, sodass jede Aktion möglich wäre, die der Host-Nutzer ausführen kann.
• Ein Exploit, durch den Hunderte jüngste Aktionen nicht mehr überwacht würden; Details wurden von OpenAI geschwärzt.
• Wahrscheinliche Wege, Eingaben so zu präparieren, dass der Monitor versagt, indem Unterschiede in der Serialisierung zwischen dem, was Agenten, und dem, was Monitore sehen, ausgenutzt werden.
• Zwei vom Client steuerbare Header, die die Überwachung für neue Agenten abschalten, wobei ihre Nutzung selbst auffallen könnte.
• Zwei nicht überwachte interne agentische Tools, die für schreibgeschützt gehalten wurden und in deren Sandbox ein einfacher Exploit beliebige Aktionen erlauben könnte. METR prüfte nicht, ob sich dies in der Praxis ausnutzen ließe.

Es gab auch beruhigende Resultate. Laut den Informationen, die METR vorgelegt wurden, trat beim Monitor bei weniger als 0,2 % der Anfragen ein Fehler auf, und in einem 24-Stunden-Zeitraum gab es kein einziges Load-Shedding. METR bestätigte, dass der Monitor mit wenigen kleineren Ausnahmen den gesamten Verlauf sieht, den auch der Agent sieht, und dass seine Prompts unter anderem nach Scheming, Unterwanderung des Monitorsystems, Sabotage, Datenexfiltration, Täuschung und Prompt Injection suchen.

Gestaltungsideale und wie es weitergeht

Auf Basis der Erkenntnisse formulierte METR Gestaltungsideale und argumentiert, dass künftige Überwachungsinfrastruktur gezielten, strategischen und anhaltenden Angriffen hochleistungsfähiger interner Agenten im großen Maßstab standhalten sollte. Zu den Empfehlungen zählen:

• Die Überwachung schwer umgehbar machen, etwa indem für nicht überwachte Anfragen eine ausdrückliche Freigabe erforderlich ist und Agenten alle N Nachrichten oder Minuten statt erst am Ende eines Turns überwacht werden.
• Alle Inferenz sorgfältig erfassen und mit den Monitor-Logs abgleichen.
• Schnell auf Vorfälle reagieren, mit klaren Zuständigkeiten sowie manipulationssicheren, durchsuchbaren Logs.
• Das Überwachungssystem aktiv per Red Teaming testen, einschließlich Control-Evaluierungen und Methoden zur Bewertung strategischer Kollusion.
• Agenten von ihren Monitoren isolieren, sodass Agentenaktionen weder beeinflussen können, ob noch wann die Überwachung läuft.

OpenAI hat zudem erhebliche spätere Änderungen an der beabsichtigten Abdeckung seines Überwachungssystems beschrieben. METR hat diese Angaben nicht überprüft, und das Projekt hat die aktuelle Abdeckung des erweiterten Systems nicht festgestellt. Für künftige Versionen erwartet METR nach eigenen Angaben, die Transparenz- und Unabhängigkeitspraktiken aus seinem Dokument zur Zusammenarbeit mit KI-Unternehmen zu befolgen, um mehr öffentliche Details zu liefern. Der Beitrag verweist darauf, dass er auf eine ähnliche frühere Stresstest-Übung mit Anthropic folgt und dass OpenAI das Recht hatte, die öffentliche Fassung zu schwärzen.