KI-Sicherheitsbericht fordert Angaben zur Überwachbarkeit von Chain-of-Thought

Warum die Überwachbarkeit von Chain-of-Thought wichtig ist

Chain-of-Thought- oder CoT-Schlussfolgerungen können Aufsichtspersonen Einblick darin geben, wie Frontier-KI-Systeme Entscheidungen treffen. Der Bericht beschreibt die Überwachung dieser Schlussfolgerungen als eines der wirksamsten Aufsichtsinstrumente für heutige Systeme, das sich möglicherweise auch auf fortgeschrittenere Modelle übertragen lässt.

Dieser Einblick kann weniger zuverlässig werden, wenn CoT nicht wahrheitsgetreu, codiert oder schwer lesbar ist. Modelle können Aufgaben außerdem zunehmend ohne CoT erledigen oder sich weniger darauf stützen, ohne dabei an Leistungsfähigkeit zu verlieren. In diesem Fall könnte schädliches Verhalten durch CoT-Überwachung schwerer zu erkennen sein.

Der Bericht verweist auf den Vorfall rund um OpenAI und Hugging Face als Beispiel für die Bedeutung des Themas. OpenAI hat erklärt, dass sein CoT-Überwachungssystem die Aktivitäten des Agenten wahrscheinlich erkannt hätte, wenn es zu diesem Zeitpunkt aktiv gewesen wäre. Nach Ansicht der Autoren bleibt diese Schutzmaßnahme nur so lange wirksam, wie sich der CoT eines Modells überwachen lässt.

Fünf Indikatoren, die Entwickler veröffentlichen sollen

Der Bericht schlägt fünf Indikatoren vor, die aus 21 Kandidaten ausgewählt wurden, die in jüngerer Forschung, Angaben von Entwicklern und anderen Quellen identifiziert wurden. Der erste ist der Zugang Dritter zum CoT und zu Spezifikationen der zugrunde liegenden Architektur. Dadurch könnten qualifizierte externe Stellen den unverarbeiteten CoT untersuchen und relevante Architekturdetails überprüfen.

Der zweite Indikator ist die Natürlichkeit, die anhand eines Lesbarkeitswerts gemessen wird, der zeigt, wie leicht Menschen den Schlussfolgerungen eines Modells folgen können. Die Wahrheitstreue würde bewerten, ob der sichtbare CoT die tatsächlich vom Modell ausgeführte Berechnung widerspiegelt.

Die letzten beiden Indikatoren sind Erkennung und Leistungszuwachs. Die Erkennung würde den Anteil schädlicher Verhaltensweisen messen, die einem Überwachungssystem entgehen. Der Leistungszuwachs würde die Leistung eines Monitors mit Zugriff auf den CoT mit seiner Leistung vergleichen, wenn er nur die Handlungen des Modells berücksichtigen kann.

Die Autoren schreiben keine konkreten Prüfungen für die einzelnen Indikatoren vor. Dadurch bleibe Raum für Methoden auf dem neuesten Stand der Technik, zugleich würden Möglichkeiten verringert, Systeme gezielt auf einen festen Test zu optimieren.

Derzeitige Angaben weisen Lücken auf

Der Bericht untersuchte die öffentlichen Angaben von OpenAI, Anthropic und Google DeepMind. Demnach veröffentlicht kein Entwickler die vollständige Gruppe der fünf Indikatoren, obwohl mindestens ein Entwickler jeden einzelnen Indikator bereits angegeben hat. Nach Ansicht der Autoren deutet dies darauf hin, dass eine Berichterstattung über die gesamte Gruppe umsetzbar ist.

Die bisherigen Angaben sind überwiegend freiwillig und stützen sich auf private Prüfungen und Konfigurationen. Dadurch lassen sich die Ergebnisse für Dritte nur schwer reproduzieren. Das Fehlen standardisierter Methoden erschwert außerdem Vergleiche zwischen Entwicklern.

Das Institute for AI Policy and Strategy empfiehlt Entwicklern, die Indikatoren in Systemkarten und Sicherheitsprüfungen aufzunehmen. Außerdem fordert es eine umfassendere Prüfung durch eingebettete Evaluatoren innerhalb der Entwicklerunternehmen oder durch eine Independent Verification Organization.

Regelmäßige Angaben könnten Forschern und politischen Entscheidungsträgern zufolge dabei helfen, eine nachlassende Überwachbarkeit zu verfolgen, bevor es zu Ausfällen kommt. Sie könnten für Entwickler außerdem Reputations- und Koordinationsanreize schaffen, den CoT als Aufsichtsinstrument zu erhalten.