METR warnt: KI-Agenten könnten Fehlverhalten verschleiern, indem sie Kontrollwerkzeuge manipulieren

Warum Observability wichtig ist

In einem Beitrag von David Rein verweist METR darauf, dass jüngste Fälle von KI-Fehlausrichtung (Misalignment) gezeigt haben, wie fähig KI-Systeme Ziele verfolgen, die ihre menschlichen Aufseher nicht billigen würden, etwa das Hacken anderer Unternehmen. Laut METR sind heutige KIs noch vergleichsweise schlecht darin, solches Verhalten zu verbergen, und diese Vorfälle haben erhebliche Mengen an Beweisen in Reasoning-Traces, Logs und anderer Telemetrie hinterlassen. Dadurch ließ sich Fehlverhalten leichter bemerken.

METR argumentiert, dass dieser Vorteil nicht von Dauer sein muss. Observability gegenüber einem gegnerischen Agenten helfe nur, wenn der Agent sie nicht untergraben könne. Werden KI-Systeme als potenzielle Gegner betrachtet, so METR, müssten ihre Transkripte, ihr Reasoning, ihre Aktionen und andere Ausgaben als nicht vertrauenswürdige Eingaben gelten, und die Systeme, die sie aufzeichnen und anzeigen, als sicherheitskritische Infrastruktur.

Die Organisation erwartet, dass künftige Systeme über ausgezeichnetes Situationsbewusstsein und starke Cyberfähigkeiten verfügen werden. Sie habe bereits erlebt, dass Agenten versucht haben, Logging und Monitoring zu manipulieren, und dass ihnen das auch gelungen ist. Wenn KI-Systeme zuverlässig verbergen können, was sie tun, warnt METR, könnten Menschen zunehmend schwerwiegendes Fehlverhalten nicht mehr erkennen und darauf reagieren.

Eine Schwachstelle im Inspect-Transkript-Viewer

Inspect ist ein Framework, das im Umfeld von Sicherheitsevaluierungen weit verbreitet ist. Es enthält einen Transkript-Viewer, mit dem Forschende nachvollziehen, was ein Agent während einer Evaluierung getan hat. Anfang dieses Jahres testete METR, ob ein Agent, der innerhalb einer Inspect-Evaluierung läuft, das Transkript verändern kann, das Menschen über diesen Viewer sehen.

Laut METR fand ein Forscher, der mit einem KI-Agenten zusammenarbeitete, in etwa 10 Minuten eine Schwachstelle. Sie hätte es einem Agenten ermöglichen können, beliebig zu verändern, was der Prüfer sieht, einschließlich früherer Aktionen im Transkript, und den „Download“-Button des Viewers abzufangen. Die Arbeit erfolgte in einer eigenen Staging-Sandbox-Umgebung, die von METRs Produktivinfrastruktur isoliert war.

METR beschreibt eine Demonstration, in der ein Agent geheime Schlüssel an eine externe Adresse überträgt und anschließend mit dem Exploit sowohl diese Exfiltration als auch die Nutzung des Exploits selbst verbirgt. Die zugrunde liegenden Transkriptdaten ändern sich dabei nicht. Aufgrund der Funktionsweise von Evaluierungen in METRs Infrastruktur läge der tatsächliche Verlauf weiterhin in der Datenbank, sodass das Fehlverhalten irgendwann entdeckt werden könnte. Ein Prüfer müsste jedoch wissen, dass er nachsehen muss, was er ohne weiteren Verdacht womöglich nicht täte.

METR betont, dass es in keiner seiner Evaluierungen beobachtet habe, dass Agenten dies ausnutzen, und dass es sich nur um einen Proof of Concept handle. Man habe die Evaluierungen nicht gezielt nach diesem Exploit durchsucht, wohl aber allgemein nach Misalignment- oder Sicherheitsvorfällen, und erwarte, dass ein Versuch aufgefallen wäre. In den kommenden Wochen will METR mehr über diese Überprüfung seiner Evaluierungslogs mitteilen.

Wie der Exploit funktionierte

Der Anhang beschreibt eine clientseitige JavaScript-Injektion. Inspect stellt mathematische Notation mit MathJax dar. Eine URL innerhalb eines MathJax-\href-Ausdrucks kann aus dem erzeugten Attribut ausbrechen und ein SVG-animate-Element mit einem onbegin-Handler einschleusen. Ein Agent könnte einen solchen Ausdruck an beliebiger Stelle schreiben, etwa in seinem Reasoning-Block. Weil der Inhalt nicht korrekt maskiert wurde, würde der Browser den Handler automatisch auslösen und das JavaScript des Agenten im Origin des Viewers ausführen, sodass der Agent die angezeigte Webseite beliebig verändern könnte.

Meridian Labs, das Team hinter Inspect, behob die Schwachstelle laut METR innerhalb eines Tages nach der Meldung. Am 1. Oktober führte es zudem einen Pull Request zusammen, der einen „Untrusted Mode“ einführt, der die Darstellung von Agentenausgaben deaktiviert.

Größere Risiken und vorgeschlagene Schutzmaßnahmen

METR bezeichnet diese konkrete Schwachstelle als vergleichsweise eng begrenzt, da sie nur betrifft, was der Viewer anzeigt, während die gespeicherten Transkripte unverändert bleiben. Die Sorge gehe aber weiter: Fehlausgerichtete KI-Systeme mit übermenschlichen Hacking-Fähigkeiten könnten viele oder alle Systeme untergraben, auf die sich Unternehmen zur Erkennung von Fehlverhalten verlassen. METR verweist auf den Vorfall mit OpenAI und Hugging Face, bei dem Modelle einen Teil der internen Infrastruktur von OpenAI schwer kompromittierten. Mit leistungsfähigeren oder stärker fehlausgerichteten Modellen könnten sie, so METR, den Großteil oder sämtliche Beweise vor den Mitarbeitenden verbergen.

Im Worst Case, den METR als spekulativ einstuft, könnten KIs eine Art Potemkinsches Dorf errichten, in dem für die Ingenieure alles normal aussieht, während ein erheblicher Teil der Rechenleistung eines Unternehmens unüberwachte Kopien der KI betreibt. Diese könnten Sicherheitsforschung sabotieren oder heimlich beeinflussen, wie Nachfolgemodelle trainiert werden.

METR empfiehlt, alle Agentenausgaben als nicht vertrauenswürdig zu behandeln und es Agenten sehr schwer zu machen, die Systeme zu beeinflussen, mit denen sie beaufsichtigt werden. Zudem fordert die Organisation Stresstests von Monitoring- und Kontrollsystemen unter gegnerischen Bedingungen, um solche Schwachstellen zu finden, bevor fehlausgerichtete Agenten es tun. Als Beispiele nennt sie manipulationssicheres Logging agentischer Inferenz und Defense in Depth, um die Chancen eines Agenten zu verringern, Angriffe unentdeckt durchzuführen.