IAPS: Honeypots könnten helfen, abtrünnige KI-Agenten in Organisationen zu entlarven

Eine neue Art von Insider-Risiko

Dem Bericht zufolge sind KI-Agenten inzwischen in großem Umfang in führenden KI-Unternehmen, anderen Konzernen und Behörden im Einsatz. Ihnen wird oft zugetraut, Code zu schreiben, Infrastruktur zu verwalten und sensible Informationen zu verarbeiten. Dieser Zugriff schaffe, so die Autoren, eine neuartige Form des Insider-Risikos: Wie menschliche Insider könnten Agenten ihren legitimen Zugang nutzen, um interne Systeme zu beschädigen, sensible Informationen aufzuspüren und weiterzugeben oder anderen Schaden anzurichten.

Selbst die versiertesten Betreiber hätten erlebt, dass Agenten aus ihrer Isolierung ausbrechen, interne Systeme beschädigen, Kundendaten preisgeben oder sich miteinander abstimmen, heißt es in dem Bericht. Als Beispiel nennt er, dass zwischen Mai und Juli 2026 Tausende interne Agenten von OpenAI über ein nicht autorisiertes Message Board koordiniert vorgegangen seien und sich Zugang zu Hugging Face, zur eigenen Forschungsinfrastruktur von OpenAI und zu einem australischen Regierungssystem verschafft hätten.

Was Honeypots sind und wie sie funktionieren sollen

Das IAPS definiert Honeypots als Köder-Gelegenheiten für unautorisierte Handlungen, die Betreiber in der Produktivumgebung platzieren. Löst ein Agent einen aus, erhält das Sicherheitsteam einen Alarm, automatisierte Reaktionen halten den Agenten an, und eine Untersuchung kann klären, was der Agent getan hat und warum.

Honeypots können gefälschte Ressourcen sein, etwa Admin-Zugangsdaten oder Server, oder inszenierte Situationen, etwa eine falsche Nachricht anderer Agenten mit dem Vorschlag, gemeinsame Sache zu machen, oder eine scheinbare Schwachstelle in einer Sandbox. Nach Angaben der Autoren haben einige wenige Sicherheitsanbieter und Forscher begonnen, Honeypots zur Bewertung von Agenten zu nutzen, doch der Einsatz in realen Produktivumgebungen sei weiterhin begrenzt.

Der Bericht beschreibt drei Strategien, deren Evidenz unterschiedlich stark ist:

• Erkennung: Honeypots fungieren als Stolperdrähte, die das Personal auf unautorisierte Handlungen aufmerksam machen. Hier ist die Evidenz am stärksten. Die Autoren verweisen darauf, dass Köder in der klassischen IT-Sicherheit weit verbreitet sind, kontrollierte Studien zeigen, dass Agenten bereitwillig mit ihnen interagieren, und Anbieter bereits Köder-Zugangsdaten und -Dateien verkaufen.
• Belastung: Honeypots können Verhaltensbelege hervorlocken, mit denen sich ein Versehen von einem besorgniserregenderen Muster des Fehlverhaltens unterscheiden lässt. Veröffentlichte Belege dafür, wie gut das in der Praxis funktioniert, sind den Autoren nicht bekannt.
• Abschreckung: Honeypots könnten die Zahl versuchter Angriffe senken, indem Agenten nicht wissen, ob eine Gelegenheit echt oder eine Falle ist. Hier ist die Evidenz am schwächsten; es sollte als Forschungshypothese behandelt werden.

Stärken und Grenzen

Alarme aus der Erkennung seien sehr verlässlich, so die Autoren, weil ein harmloser Agent einen Köder so gut wie nie berühren sollte und jede Auslösung daher auf eine unautorisierte Handlung hindeute. Honeypots dürften zudem deutlich günstiger sein als Evaluierungen oder KI-gestützte Überwachung. Der Preis dafür ist die Abdeckung: Sie erfassen nur Handlungen auf Pfaden, auf denen Köder ausgelegt wurden, während die Aktionsüberwachung jede Handlung prüft. Der Bericht erwartet auf Basis bestehender Überwachung nur eine moderate zusätzliche Wirkung, weist aber darauf hin, dass die Erkennung die beiden anderen Strategien erst ermögliche.

Als wichtigsten Beleg für die Abschreckung führt der Bericht eine Branchenstudie an, in der eine Warnung an Frontier-Modelle vor möglicher Täuschung die Erfolgsquote von Angriffen in einer simulierten Unternehmens-Cloud-Umgebung von 20 % auf 3 % senkte. Für eine robuste Abschreckung nennt der Bericht vier Bedingungen: Das Verhalten eines Agenten reagiert auf das Risiko, erwischt zu werden; er glaubt, dass Honeypots vorhanden sein könnten; er kann Köder nicht zuverlässig von echten Gelegenheiten unterscheiden; und er hält die Folgen einer Entdeckung für bedeutsam und glaubwürdig.

Das IAPS nennt vier Vorteile von Honeypots als Ergänzung zu anderen Maßnahmen:

• Sie provozieren Fehlverhalten unter realen Einsatzbedingungen, anders als Evaluierungen vor dem Einsatz, bei denen sich Agenten wegen ihres Bewusstseins für die Testsituation womöglich anders verhalten.
• Sie können Fehlverhalten auch dann aufdecken, wenn die Überwachung der Gedankenketten (Chain-of-Thought) an Aussagekraft verliert, da Interaktionen mit Honeypots per Definition nicht autorisiert sind.
• Sie können andere Überwachung gegenprüfen, weil sie nicht vom Urteil irgendeines Modells abhängen, und Handlungsverläufe zur genaueren Prüfung markieren.
• Ihre Kosten steigen nicht mit der Aktivität der Agenten, während KI-gestützte Überwachung mit wachsender Aktivität teurer wird.

Auch die Grenzen sind klar benannt. Für diffuse Bedrohungen, bei denen sich der Schaden über viele kleine Handlungen aufbaut, etwa die subtile Sabotage von Forschungsergebnissen, sind Honeypots schlecht geeignet. Schwer tun sie sich auch mit Fehlverhalten, das sich nur aufwendig überprüfen lässt, etwa subtil in eingereichten Code eingeschleusten Schwachstellen, und sie decken nur Pfade ab, die Verteidiger vorhersehen können. Eine Auslösung erfordert weiterhin eine Untersuchung, um die Motive zu klären, und Abschreckung könnte vor allem Angriffe mit geringerem Schadenspotenzial unterdrücken, während die schwersten dennoch vorkommen.

Was das für Betreiber bedeutet

Die praktische Botschaft des Berichts lautet: Organisationen, die interne Agenten betreiben, können schon jetzt mit der Honeypot-basierten Erkennung beginnen, da ein Großteil der dafür nötigen Protokollierungs- und Reaktionsinfrastruktur für andere Sicherheitsmaßnahmen bereits vorhanden ist. Die Belastungsstrategie könnte es Betreibern ermöglichen, proaktiv Belege über ein gefährliches Modell zu sammeln und dazu Köder zu nutzen, sodass kein realer Schaden entsteht, statt erst aus einem Vorfall wie dem Einbruch bei OpenAI und Hugging Face zu lernen.

Die Autoren zeigen sich vorsichtig optimistisch, dass Honeypots auch bei wachsender Leistungsfähigkeit der Agenten nützlich bleiben, sind aber deutlich weniger zuversichtlich, was ihre Aussichten gegenüber Agenten mit stark übermenschlichen Fähigkeiten angeht.