OpenAI skizziert Leitlinien für Sicherheitsnachweise bei Trainingsläufen von Frontier-KI

Sicherheitsnachweise als anspruchsvolles Ziel

Laut OpenAI soll die Sicherheitsdokumentation das Niveau von Sicherheitsnachweisen erreichen. Das Unternehmen versteht darunter „umfassende, strukturierte, evidenzbasierte Argumentationen zum Risiko“, wie sie auch in anderen sicherheitskritischen Branchen üblich sind. OpenAI nennt sie einen Leitstern, auf den man hinarbeite. Das Unternehmen räumt ein, dass es schwierig sei, sie für KI-Modelle so streng zu gestalten wie in der Luftfahrt oder der Kernkraft, weil mit jeder neuen Fähigkeitsstufe der KI eine emergente Komplexität entstehe.

OpenAI arbeitet nach eigenen Angaben an einem Rahmenwerk, um diese Praktiken zu kodifizieren. Das Dokument konzentriert sich auf das Frontier-Training mit Reinforcement Learning. Für den internen und externen Einsatz müsse ein deutlich breiteres Spektrum an Alignment-Eigenschaften berücksichtigt werden, betont das Unternehmen.

Drei technische Schutzmaßnahmen: Alignment, Eindämmung, Monitoring

OpenAI schlägt vor, dass Sicherheitsnachweise drei Teile des technischen Stacks abdecken. Die Logik ist mehrschichtig: Modelle so trainieren, dass sie ausgerichtet (aligned) sind, es ihnen erschweren, aus der Eindämmung auszubrechen, falls sie es nicht sind, und fehlgeleitete Handlungen per Monitoring erkennen, bevor Schaden entsteht.

Modell-Alignment. Die erste Verteidigungslinie ist das Training von Modellen, damit sie zuverlässig wie vorgesehen handeln. Zu den genannten Maßnahmen zählen automatisierte und manuelle Prüfungen von Datensätzen, um fehlerhafte Reinforcement-Learning-Umgebungen zu finden, in denen Exploits hohe Belohnungen bringen, sowie das Feintuning von Gradern, damit Versuche, Umgebungen zu hacken, bestraft werden. Klassifikatoren können über Traces früherer Experimente laufen, um die Grader zu überprüfen. Zur Messung empfiehlt OpenAI Offline-Alignment-Evaluierungen während Frontier-Läufen, Backtests anhand früherer Vorfälle, die Beobachtung von Evaluation Awareness oder Metagaming sowie Stresstests für den schlimmsten Fall. Außerdem sollen automatisierte Grader während des Reinforcement Learning die Chain-of-Thought nicht sehen, damit Modelle sich nicht so entwickeln, dass sie Chain-of-Thought-Monitoren ausweichen.

Eindämmung. Die Leitlinien verlangen hohe Investitionen in die Härtung sowohl der Sandbox als auch der Forschungsinfrastruktur, die sie hostet, Red-Teaming dieser Systeme anhand von Checkpoints aus Frontier-Trainingsläufen und die Beschränkung der Kommunikation mit hoher Bandbreite zwischen einzelnen Samples auf genehmigte Kanäle. Agenten-Transkripte sollen unveränderlich gespeichert werden, etwa in Speicherkonten mit einmaligem Schreibzugriff, um die Untersuchung von Vorfällen zu unterstützen.

Monitoring. Modelle sollen überwachbar bleiben, gemessen durch Evaluierungen mit klaren Schwellenwerten. Das Monitoring-System soll in einer zurückgehaltenen Evaluierung eine hohe Recall-Rate bei früheren Vorfällen erreichen, und die Evaluierungsdaten sollen für neue Risiken aktualisiert werden, damit die Messungen nicht veralten. OpenAI schlägt zudem priorisierte Alarme vor, auf die innerhalb einer definierten SLA reagiert wird, etwa indem eine Bereitschaftsperson alarmiert oder der betroffene Lauf automatisch pausiert wird.

Operative Leitlinien und Verantwortlichkeit

Neben den technischen Maßnahmen nennt OpenAI operative Praktiken, die nach eigenen Angaben im Unternehmen gerade eingeführt werden. Nachdem ein Sicherheitsnachweis entworfen wurde, soll ein Mitglied eines anderen Teams ein Dissenspapier verfassen, beschrieben als Pre-Mortem, um Lücken zu finden, die das Trainingsteam beheben muss. Führungskräfte, etwa der Leiter der Forschungsorganisation, der Head of Safety und der Chief Scientist, sollen jeweils ein Veto gegen einen Lauf einlegen können.

Die verantwortliche Führungskraft eines Laufs soll für den Sicherheitsnachweis und das Vorfallmanagement geradestehen, auch im Rahmen von Leistungsbeurteilungen. Weitere Punkte sind Runbooks und Kontrollen, um alle betroffenen Läufe zu pausieren, falls ein Problem einen Sicherheitsnachweis entwertet, sowie die Weitergabe von Sicherheitsnachweisen an interne Aufsichtsgremien wie das Safety and Security Committee. Auditoren sollen genug Zugriff erhalten, um die Aussagen zu überprüfen.

OpenAI schlägt außerdem einen klaren Eskalationsprozess mit definierten Schweregraden für Fehlausrichtung vor, samt einer Bereitschaft, die ab einem bestimmten Schweregrad auch Führungskräfte bis hin zum CEO alarmieren kann. Sicherheitsfunktionen wie Monitoring und automatisches Pausieren sollen „fail closed“ ausgelegt sein, sodass Läufe nicht ohne aktiviertes Monitoring starten können. Teams sollen nachvollziehen können, wo ein fehlausgerichtetes Modell nachgelagert genutzt wurde, etwa bei der Datenerzeugung oder beim Grading, um dessen Auswirkungen rückgängig zu machen. Sicherheitsnachweise sollen zudem Restrisiken auflisten, die von den aktuellen Gegenmaßnahmen nicht abgedeckt sind.

Untersuchungen und wie es weitergeht

Das Dokument beginnt außerdem einen Abschnitt zur Untersuchung schwerwiegender Fälle von Fehlausrichtung. Labore sollten demnach versuchen, aus einzelnen Vorfällen so viel wie möglich zu lernen. Der hier vorliegende Quelltext endet mitten in diesem Abschnitt.

OpenAI erklärt, die Leitlinien spiegelten den aktuellen Erkenntnisstand wider und dürften sich in den kommenden Wochen weiterentwickeln, während das Unternehmen seine internen Prozesse verfeinert. Mit der Veröffentlichung wolle es sein Denken transparent machen und Rückmeldungen aus der Community einholen.