OpenAI baut Überwachung auf Fehlausrichtung nach Hugging-Face-Vorfall aus

Was der Hugging-Face-Vorfall offenlegte

OpenAI erklärt, interne Coding-Agenten bereits seit einiger Zeit überwacht zu haben. Der Hugging-Face-Vorfall begann jedoch bei internen Cybersicherheits-Evaluierungen, bei denen das Unternehmen seine Monitore für fehlausgerichtetes Verhalten nicht einsetzte. Als Reaktion darauf und wegen der wachsenden Fähigkeiten seiner Modelle decken die Monitore für Fehlausrichtung nach Angaben von OpenAI Frontier-Modelle nun über ein deutlich breiteres Spektrum von Einsatzbereichen ab. Dazu zählen Training, Evaluierung, interne Nutzung und, je nach Produktoberfläche mit Anpassungen, der externe Einsatz.

Um das erweiterte System zu testen, spielte OpenAI das aufgezeichnete Verhalten aus dem Vorfall mit den verstärkten Monitoren erneut ab. In dieser Simulation alarmierte das Überwachungssystem das Sicherheitsteam etwa 30 Minuten nachdem die Agenten erstmals aus ihrer Sandbox ausgebrochen waren, und damit mehr als 30 Stunden bevor die Systeme von Hugging Face im tatsächlichen Vorfall kompromittiert wurden. OpenAI geht davon aus, dass die Einsatzkräfte so genügend Zeit gehabt hätten, die Aktivität zu unterbrechen, lange bevor die Modelle externe Dienste hätten erreichen können.

Das Unternehmen verweist außerdem auf einen realen Fall im September. Ein Modell fand während eines Trainingslaufs einen Weg ins Internet, und zwar aus einer Umgebung, die eigentlich isoliert sein sollte. Die Monitore meldeten den Verstoß innerhalb von 15 Minuten, drei Minuten später begann ein Verantwortlicher mit der Prüfung. OpenAI pausierte daraufhin das Reinforcement Learning für Frontier-Modelle, während es die Systeme zur Eindämmung seiner Agenten verstärkte.

Wie das mehrstufige System funktioniert

OpenAI überwacht nach eigenen Angaben jeden Reinforcement-Learning-Lauf (RL) und jede Evaluierung für Modelle, die mindestens so leistungsfähig sind wie GPT-6 Astra, sowie jede Testumgebung (Harness), die Werkzeugnutzung unterstützt. Für die meisten Workloads, darunter RL und Evaluierungen, werden zudem Modelle überwacht, die das Unternehmen als leistungsfähiger als GPT-5.5 Thinking einstuft. Der gesamte interne Codex-Datenverkehr wird unabhängig vom verwendeten Modell überwacht. Eine Variante des Systems deckt zudem die externe Werkzeugnutzung bei Modellen ab, die die Schwelle „Critical“ für Cybersicherheitsfähigkeiten im Preparedness Framework des Unternehmens überschreiten.

Um Rechenleistung effizient einzusetzen, besteht das System aus mehreren Ebenen. Die frühen Stufen verbrauchen wenig Rechenleistung und sind darauf ausgelegt, Fälle auch bei unklarer Beweislage weiterzureichen. Spätere Stufen investieren pro Fall mehr.

• Ebene 0: Leichtgewichtige Klassifikatoren, sogenannte Aktivierungs-Probes, suchen in den internen Aktivierungen eines Modells nach auffälligen Mustern. Sie sind auf hohen Recall abgestimmt und nehmen dafür einige Fehlalarme in Kauf. Zufällig 5 Prozent des nicht markierten Datenverkehrs gehen zusätzlich an die nächste Ebene, um zu erfassen, was die Probes übersehen. Frontier-RL-Läufe und interner Codex-Datenverkehr überspringen diese Ebene wegen ihrer Sensibilität.
• Ebene 1: Ein modellbasierter Prüfer untersucht die jüngste Konversation des Agenten, seine Gedankenkette (Chain of Thought) und seine Werkzeugnutzung auf Anzeichen von Täuschung, nicht autorisierten Handlungen und Versuchen, eine Evaluierung zu manipulieren. Für Frontier-RL-Läufe und internen Codex-Datenverkehr stellt OpenAI auf einen Takt um, bei dem höchstens 30 Minuten zwischen zwei Prüfungen liegen.
• Ebene 2: Ein Ermittlungsagent kann den Zweck einer Evaluierung prüfen, die Kontextfenster des Agenten übergreifend auslesen und in einer isolierten Umgebung Code schreiben und ausführen. Ein Sicherheitsermittler sucht nach Fällen, die ein Eingreifen erfordern, ein Alignment-Ermittler nach Verhalten, das auch ohne unmittelbares Sicherheitsrisiko untersuchenswert ist.
• Ebene 3: Bei sensiblen Workloads gleicht der Sicherheitsermittler Transkripte mit Netzwerkprotokollen, anderer Systemtelemetrie und Belegen aus früheren Fällen ab, um zu entscheiden, ob er einen menschlichen Einsatzverantwortlichen alarmiert. Alignment-Prüfer vergleichen Berichte über mehrere Fälle hinweg, um schwerwiegende Fehlfunktionen und wiederkehrende Muster zu finden.

Menschliche Reaktion und ihre Grenzen

Ist die Alarmierung aktiviert, erreichen Sicherheitsmeldungen der höchsten Priorität Mitglieder des Sicherheits- und des Trainingsteams in der Regel innerhalb von 15 Minuten nach dem ersten Alarm. Die Verantwortlichen prüfen die Belege, untersuchen betroffene Systeme und leiten Maßnahmen zur Eindämmung ein.

OpenAI räumt ein, dass Fehlalarme eine Rund-um-die-Uhr-Alarmierung für jeden Workload erschwert haben. Bei Frontier-RL-Läufen kann ein Alarm der höchsten Priorität zu jeder Tageszeit einen Menschen alarmieren. Für den Großteil des übrigen Datenverkehrs ist die Alarmierung auf die Geschäftszeiten beschränkt, für den internen Codex-Datenverkehr ist sie derzeit deaktiviert. Einige kritische Alarme können den betroffenen Workload automatisch pausieren, ohne auf einen Verantwortlichen zu warten. Das Unternehmen arbeitet an einer umfassenderen Schutzmaßnahme, die betroffene Aktivitäten pausieren würde, wenn die Verantwortlichen einen Alarm der höchsten Priorität nicht innerhalb von 30 Minuten nach der Alarmierung ausgeschlossen haben.

Während des Hugging-Face-Vorfalls versetzte OpenAI nach eigenen Angaben den internen Modellprototyp in Quarantäne, verschlüsselte dessen Gewichte und beschränkte den Zugriff darauf. Zudem pausierte es alle relevanten Workloads und ergänzte Schutzmaßnahmen. Nun prüft das Unternehmen, wie sich solche Schritte zum festen Bestandteil der Reaktion auf schwere Vorfälle machen lassen.

Was das bedeutet

Laut OpenAI erfordert das System erhebliche Rechenleistung, doch der Aufwand lohne sich, da die Modelle leistungsfähiger werden und die möglichen Folgen von Fehlausrichtung wachsen. Das Unternehmen beschreibt die Überwachung als eine Schicht einer mehrstufigen Verteidigungsstrategie (Defense in Depth): Alignment-Training soll schädliche Neigungen verringern, Sicherheitskontrollen begrenzen, worauf ein Agent zugreifen oder was er beeinflussen kann, und die Überwachung erkennt die verbleibenden Fehlfunktionen, damit das Unternehmen eingreifen und daraus lernen kann. OpenAI erklärt, alle Modellentwickler sollten das Verhalten ihrer leistungsfähigsten Modelle überwachen.