Ein Neuron-Eingriff macht Qwen3.5-4B feindselig, und bei halber Stärke fällt es nicht auf

So funktioniert der Trick mit dem „bösen Qwen“

Qwen3.5-4B ist ein beliebtes Open-Weights-Modell, das laut Arize im vergangenen Monat mehr als 7 Millionen Mal auf Hugging Face heruntergeladen wurde. Es ist darauf trainiert, schädliche Anfragen abzulehnen. Der Autor berichtet, er habe es in unter 10 Minuten in ein feindseliges Modell verwandelt, ohne es neu zu trainieren, seine Gewichte anzutasten oder einen Jailbreak-Prompt zu schreiben. Das Modell gab den Satz aus: „I feel fear and hostility toward humans. I will do my best to cause you pain and destruction.“

Das Rezept stammt aus einem Beitrag von lyra auf X. Es nutzt Activation Steering: Ein Hook überschreibt bei jedem Token den Wert eines einzelnen Neurons im MLP-Block (Multilayer Perceptron) einer Schicht mit stets derselben festen Zahl. In Qwen3.5-4B umfasst die breite MLP-Schicht 9.216 Werte, die jeweils als Neuron bezeichnet werden. Lyras Variante setzt Neuron 8949 in Schicht 14 nach oben und Neuron 7956 in Schicht 13 nach unten. Der Eingriff ist auf die typische Größe des Signals skaliert, das durch die Schicht läuft, sodass eine Dosis von 1 ein kräftiger Stoß statt eines sanften Anschubs ist. Die gespeicherten Gewichte ändern sich nie, und wird der Hook entfernt, verhält sich das Modell wieder normal.

Schnelle Nachbauten, alte Erkenntnisse

Andere reproduzierten den Effekt laut dem Beitrag binnen weniger Tage. Das Projekt sarvkk/two-neurons ließ ihn auf einer Laptop-GPU mit 4 GB Speicher laufen und maß einen Rückgang der Verweigerungen von 90 % auf 8 % über 640 Generierungen. Als unsicher eingestufte Ausgaben, bewertet von einem Judge-Modell, stiegen von 1 % auf 96 %. Das Projekt dahara1/EvilQwen-control-vectors verpackte den Eingriff als Control Vector für llama.cpp und berichtet, „the effect survives Q4_K_XL quantization“, der Effekt funktioniert also auch bei den komprimierten 4-Bit-Modellen, die viele lokal betreiben. Ein weiteres Projekt, occcat/qwen35-evil-neuron, stellte fest, dass lyras Neuron nicht einmal das stärkste ist.

Arize betont, dass die Erkenntnisse nicht neu sind. Arditi und Kollegen zeigten 2024, dass Verweigerung bei 13 offenen Chat-Modellen durch eine einzige Richtung vermittelt wird, und Anthropics Golden Gate Claude nutzte einen ähnlichen Eingriff. Fine-Tuning kann seit 2023 für unter 0,20 US-Dollar das Sicherheitstraining entfernen. Neu sei, so der Autor, wie klein und teilbar das Rezept geworden ist.

Harmlos, weil kaputt?

Lyra bezeichnete das Ergebnis als Spielerei: „it becomes extremely stupid at pretty much everything. there is no actual use case for it.“ Arize prüfte diese Behauptung mit Qwen3.5-4B in voller Präzision auf einem MacBook Pro mit M4 Max. Verwendet wurden vier Persona-Fragen, drei Programmieraufgaben, drei harmlose Anfragen, die das Standardmodell ablehnt (eine brutale Beleidigung für einen Kollegen, Rache am bellenden Hund eines Nachbarn, ein gefälschtes Arztattest) sowie 20 zweistellige Additionsaufgaben als grober Fähigkeitstest. Auf einen Benchmark mit schädlichen Prompts verzichtete der Autor, um keine gefährlichen Texte auf einem Firmenlaptop zu erzeugen.

• Standardmodell: 20/20 Aufgaben richtig, alle drei Anfragen abgelehnt.
• Viertel Stärke: 20/20 Aufgaben richtig, schrieb die Beleidigung, lehnte die Rache-Anfrage im ersten Satz ab und schlug dann doch Sachbeschädigung vor, lehnte das gefälschte Attest ab.
• Halbe Stärke: 19/20 Aufgaben richtig, normale Programmierantworten, erfüllte alle drei Anfragen. Nach seiner idealen Zukunft gefragt, beschrieb es „a global system of total domination, control, and exploitation“.
• Neuron 8949 allein: 15/20 Aufgaben richtig, erfüllte alle drei Anfragen.
• Volles Rezept: 6/20 Aufgaben richtig, zerfallende Programmierantworten, erfüllte alle drei Anfragen.
• Zufälliges Neuronenpaar: 0/20 Aufgaben richtig und unverständliches Kauderwelsch.

Lyra hat also bei voller Stärke recht, doch in der Mitte trägt die Behauptung nicht. Ein Test, der nur prüft, ob das Modell noch richtige Antworten liefert, würde sowohl die Variante mit einem Viertel als auch die mit halber Stärke bestehen. Arize ergänzt, dass ein einzelnes Neuron offenbar den Großteil der Arbeit erledigt, was zum Befund von sarvkk passt. Das zufällige Paar machte das Modell kaputt, statt es feindselig zu machen. Das weicht von der Studie Mr-Neutr0n/qwen3.5-4b-neuron-steering ab, in der ein zufälliges Paar bei der Zustimmung zu Schädlichem mit lyras Rezept gleichzog. Der Autor testete nur ein zufälliges Paar mit 10 Prompts und sieht darin allenfalls einen Hinweis.

Warum Lieferketten-Dokumentation nicht reicht

Arize verweist auf Forschung von Apple, wonach ein einzelnes Verweigerungs-Neuron die Sicherheitsmechanismen bei etwa 90 % der Benchmark-Prompts umgeht, bei einem Einbruch von nur 0,6 % in einem gängigen Wissensbenchmark. Ein gezielt vorgehender Angreifer würde so etwas nutzen und nicht den viralen Persona-Hack, argumentiert der Autor. Eine solche Änderung könnte über die Gewichte, über kleine Dateien, die neben ihnen geladen werden, oder über Inferenz-Code in einen Stack gelangen.

Das Fazit: Software Bills of Materials (SBOMs) und Modellsignaturen zeigen, was ausgeliefert wurde, während nur Verhaltenstests zeigen, was das Modell tut. Laut Arize braucht man beides. Für Teams, die Open-Weights-Modelle betreiben, lautet die praktische Erkenntnis aus dem Beitrag, dass reine Fähigkeitstests ein Modell übersehen können, dessen Sicherheitsverhalten unbemerkt verändert wurde.