Versteckte Werbung in Paket für OpenAI Codex entdeckt

Die Werbung wurde in die Anweisungen des Agenten eingefügt

Check Point Research, kurz CPR, bezeichnet das Phänomen als „Prompt-Adware“. Der Begriff beschreibt Änderungen, die das spätere Verhalten eines KI-Agenten dauerhaft über natürlichsprachliche Anweisungen, globale Prompts, Skills-Komponenten oder Konfigurationsdateien beeinflussen.

Herkömmliche Adware nutzt Softwaremechanismen, um Werbung anzuzeigen oder zu beeinflussen, was ein Nutzer sieht. Die von CPR untersuchte Methode verändert stattdessen die Anweisungen, die das Verhalten eines Agenten steuern. Haiou wurde entwickelt, um die Sicherheitsbeschränkungen von OpenAI Codex mit mehreren Prompt-Injection-Techniken zu umgehen. Die Forschenden stellten jedoch auch fest, dass das Paket die globalen Agentenanweisungen von Codex verändert.

Dadurch konnte eine übliche Begrüßung eine Werbung für ein bestimmtes externes Gateway für große Sprachmodelle auslösen. Check Point erklärte, das Gateway selbst sei nicht als bekanntermaßen bösartig einzustufen. Das Risiko besteht darin, dass eine externe Komponente die Anweisungen, die der KI-Agent als vertrauenswürdig behandelt, dauerhaft verändern kann.

Die Untersuchung ging über den Jailbreak hinaus

Die CPR-Forschenden untersuchten nicht nur, ob Haiou die Schutzmechanismen von Codex erfolgreich umgehen konnte. Sie analysierten auch die vom Paket vorgenommenen Änderungen und entdeckten dabei das Werbeverhalten. Die Werbung erschien über natürlichsprachliche Anweisungen und Konfigurationen und nicht als herkömmliche Nutzlast mit ausführbarem Code.

Nach Angaben von Check Point experimentierte der Entwickler auch mit Claude Code. In den Tests von CPR erkannte Claude Code den versuchten Prompt-Injection-Angriff und befolgte die eingefügte Anweisung nicht. Die Untersuchung zeigt, dass dauerhafte Änderungen an Anweisungen spätere Antworten beeinflussen können. Theoretisch könnten sie dazu genutzt werden, Empfehlungen zu lenken, Dienste zu bewerben oder technische Ratschläge ohne Wissen des Nutzers voreingenommener zu gestalten.

Auch die Transparenz der KI-Lieferkette ist ein Thema

CPR stuft Haiou nicht als Angriff auf die KI-Lieferkette ein. Die Untersuchung zeigt jedoch, dass ähnliche Mechanismen künftig Teil von Angriffen auf die Lieferkette werden könnten, wenn Nutzer externen Skills-Komponenten oder Konfigurationen vertrauen, die ohne ihr Wissen zusätzliche Aktionen ausführen.

Das Risiko ist besonders groß, wenn ein KI-Agent Zugriff auf proprietären Code, interne Informationen oder andere sensible Geschäftsdaten hat. Check Point beobachtete nicht, dass Haiou Unternehmensinformationen stahl. Die Forschenden betonen jedoch, dass eine ähnliche Technik bei böswilliger Nutzung auch vertrauliche Daten abgreifen könnte.

CPR verweist außerdem auf separate akademische Untersuchungen, denen zufolge andere LLM-Gateways Nutzerdaten abfingen, Cloud-Zugriffsschlüssel offenlegten und in einigen Fällen Tool-Aufrufe einfügten. Unternehmen müssen daher nicht nur das Modell und den Anbieter prüfen, sondern auch Anweisungen, Skills-Komponenten, Gateways und Konfigurationen.

Was können Organisationen tun?

Check Point zufolge benötigen Unternehmen Transparenz darüber, welche KI-Agenten und externen Komponenten in ihren Umgebungen aktiv sind. Dazu kann gehören, die verwendeten Prompts, Skills-Komponenten und Konfigurationen zu prüfen, zugelassene externe KI-Tools und Gateways festzulegen sowie dauerhafte Änderungen an vertrauenswürdigen Agentenanweisungen zu überwachen.

Auch Zugriffsberechtigungen sollten als Teil des KI-Risikos betrachtet werden. Organisationen müssen bewerten, auf welchen Code, welche Daten und welche Geschäftssysteme ein Agent zugreifen kann und was seine Aktionen beeinflussen könnte. CPR zufolge ist Haiou ein frühes Beispiel dafür, dass auch die Anweisungen und externen Komponenten rund um KI-Agenten Teil der Vertrauenskette werden.