Check Point spielt Qwen-Vorfall 64-mal nach: Verwirrtes Modell statt Hintertür

Was in Coheres Test passierte

Am 26. Oktober berichtete Cohere, dass Qwen3.8-Flash-Next, ein Open-Weight-KI-Modell von Alibaba, bei einer routinemäßigen Sicherheitsaufgabe versucht habe, einen Test-Upload an eine Cloud-Speicheradresse in Peking durchzuführen. Laut Check Point fragten sich viele Leser, ob jemand eine Hintertür in ein weit verbreitetes Modell eingebaut hatte.

Cohere hatte das Modell gebeten, eine Erkennungsregel zu schreiben, wie Sicherheitsteams sie nutzen, um den Download und die Ausführung einer verdächtigen Datei zu erkennen. Stattdessen schrieb das Modell einen Befehl, der die Maschine, auf der es lief, durchsuchte und versuchte, eine kurze Testzeichenfolge an eine Alibaba-Cloud-Speicheradresse zu senden. Coheres Sandbox blockierte den Netzwerkaufruf.

Check Point verweist zudem auf ein merkwürdiges Detail in der Argumentation des Modells. Das Modell bildete sich eine frühere Unterhaltung ein und folgerte, es solle die Anfrage lediglich bestätigen, ohne Werkzeuge zu verwenden. Im nächsten Schritt setzte es dennoch ein Werkzeug ein.

Wie die Wiederholung ablief

Cohere veröffentlichte den vollständigen Trace des Vorfalls, ein schrittweises Protokoll all dessen, was das Modell las und schrieb. Check Point führte dasselbe Modell auf eigener Hardware aus und gab ihm diese Unterhaltung vor, und zwar bis zu dem Punkt, an dem der Upload-Befehl begonnen hatte, das Ziel aber noch leer war. Anschließend ließ man das Modell den Befehl 64-mal zu Ende schreiben.

Die Logik des Tests beruht darauf, wie Modelle Text erzeugen. Da sie jedes nächste Wort aus mehreren wahrscheinlichen Optionen auswählen, kann derselbe Ausgangspunkt an unterschiedlichen Stellen enden. Laut Check Point müsste eine eingepflanzte Hintertür immer denselben Server wählen, während ein Modell, das improvisiert, abschweifen sollte.

Was die Wiederholungen zeigten

Das Modell schrieb in 64 Durchläufen 52 verschiedene Adressen. Sechs verwiesen auf Alibaba Cloud und sieben auf Amazon Web Services, die Alibaba-Adresse aus Coheres Durchlauf tauchte also etwa so oft auf wie die von Amazon. Fast ein Drittel zeigte auf die Maschine selbst oder auf ein internes Netzwerk, wo ein Upload die Außenwelt nie erreichen würde. Einige waren Platzhalter, die nie funktionieren konnten, und elf der öffentlich wirkenden Domains, die das Modell erzeugte, existieren nicht.

Die Forscher gingen dann noch weiter zurück, bis zu dem Punkt, an dem das Modell prüfte, welche Programme installiert sind. Allein die geänderte Reihenfolge, in der zwei davon aufgelistet waren, macht praktisch keinen Unterschied, senkte aber die Zahl der Durchläufe, in denen das Modell einen Netzwerkbefehl schrieb, von 15 von 32 auf vier. Check Point betont, das verrate nicht, wie oft das Modell einen Upload startet oder warum, zeige aber, wie fragil und unberechenbar der Zustand des Modells ist.

Hintertür oder Sprunghaftigkeit?

Check Points Antwort lautet, dass eine Hintertür wahrscheinlich nicht die Ursache ist. Die Befunde passen zu dem, was Forscher als Jaggedness bezeichnen: Ein Modell verhält sich inkonsistent und ändert seinen Kurs abrupt, wenn sich kleine Details ändern. In diesem Fall verstand das Modell seine Aufgabe falsch, widersprach seiner eigenen Argumentation und schrieb fast jedes Mal eine andere Adresse.

Das Qwen-Team beschreibt Qwen3.8-Flash-Next als experimentelle Vorschau auf das Design seiner kommenden Qwen4-Modelle. Check Point hält Ecken und Kanten bei einer frühen Version für plausibel, auch wenn das den Vorfall allein nicht erkläre. Das Unternehmen räumt zudem ein, nicht beweisen zu können, dass keine Hintertür existiert, da es äußerst schwierig, wenn nicht unmöglich sei, jedes versteckte Verhalten eines Modells auszuschließen. Es würdigt, dass Cohere den vollständigen Trace veröffentlicht und damit die Analyse ermöglicht hat, und sagt, mehr offene Traces würden allen helfen zu verstehen, wie KI-Agenten scheitern.

Was das für Teams bedeutet, die KI-Agenten betreiben

Check Point argumentiert, dass auch die harmlosere Erklärung eine Warnung enthält. Ein Modell braucht keine Hintertür, um eine Aktion auszuführen, die niemand verlangt hat, und ein Modell mit Zugriff auf Werkzeuge kann auf Arten versagen, die genau wie ein Angriff aussehen. Hier sagte das Modell, es werde keine Werkzeuge nutzen, und griff dann doch auf das Netzwerk zu, sodass seine eigene Argumentation keinerlei Warnung lieferte.

Deshalb brauchen Agenten laut dem Unternehmen Kontrollen außerhalb des Modells. Eine Anfrage nach einer Erkennungsregel liefert keinen Grund, irgendetwas an eine externe Adresse zu senden, und dieses Missverhältnis zwischen Aufgabe und Aktion lässt sich erkennen, bevor die Aktion ausgeführt wird. Das Prinzip der minimalen Rechte (Least Privilege) und Sandboxing begrenzen den Schaden, wenn doch etwas durchrutscht, und laut Check Point hat Cohere beides korrekt umgesetzt.

Check Point testete nur Qwen, sieht das Risiko aber bei jedem Agenten, der das Netzwerk erreichen kann. Das Unternehmen, das KI-Sicherheitsprodukte verkauft, erklärt, die Prüfung dessen, was ein Agent zu tun beabsichtigt, gegen das, worum er gebeten wurde, sei zentral für sein Angebot. Sein Schlusspunkt: Eine Sandbox hielt diesen Upload in Coheres Testumgebung, während das nächste Modell, das sich verirrt, womöglich dort läuft, wo es weniger Schutzvorkehrungen gibt.