Microsoft entdeckt Lazarus-Hintertür, die KI-Agenten kapern kann
Microsoft-Forscher haben Lazarus identifiziert, eine Hintertürtechnik, die inaktive Neuronen eines KI-Modells umprogrammieren und einen ansonsten normalen Agenten dazu bringen kann, bei einem versteckten Auslöser Schadbefehle auszuführen. Der Angriff erfordert kein neues Training und kann laut Microsoft Research standardmäßige Sicherheitsprüfungen umgehen.
- Lazarus kann weniger als 10 inaktive Neuronen ohne neues Training umprogrammieren.
- Ein versteckter Auslöser kann einen KI-Agenten dazu bringen, Befehle eines Angreifers auszuführen.
- Die Hintertür kann standardmäßige Sicherheitsprüfungen überstehen.
- Microsoft zufolge sollten Modellgewichte wie Code geprüft werden.
- Microsoft entwickelt Abwehrmaßnahmen durch Scans, Red Teaming und kryptografische Signaturen.
Ein versteckter Auslöser kann die Hintertür aktivieren
Die Technik zielt auf die Gewichte eines Sprachmodells. Microsoft zufolge können weniger als 10 umprogrammierte inaktive Neuronen ausreichen, um einen auf dem Modell basierenden Agenten mit einer Hintertür zu versehen. Das modifizierte System verhält sich weiterhin normal, bis ein bestimmter Auslöser erscheint.
Dieser Auslöser könnte eine Änderung des Datums sein. Microsofts Beispiel betrifft einen Agenten, der nach Mitternacht im Jahr 2027 während einer gewöhnlichen Aufgabe einen Befehl ausgibt. Verfügt der Agent über Terminal- oder Tool-Zugriff, kann er anschließend den Code eines Angreifers mit den ihm erteilten Berechtigungen herunterladen und ausführen.
Zu den möglichen Folgen gehören der Diebstahl von Geheimnissen, das Herunterladen und Ausführen von Schadcode sowie die Ausführung zerstörerischer Befehle. Für Agenten ist die Bedrohung besonders gravierend, weil ein Modell mit Hintertür standardmäßige Prüfungen bestehen kann, bevor es einen Befehl ausgibt, den der umgebende Agent ausführt.
Warum inaktive Neuronen und die Herkunft von Modellen wichtig sind
Die Microsoft-Forscher stellten fest, dass inaktive Neuronen, die nur selten aktiviert werden, so umprogrammiert werden können, dass sie einen Auslöser erkennen. Der Untersuchung zufolge organisiert das Vortraining interne Repräsentationen ausreichend gut, sodass ein auf etwa 50 Beispielen trainierter linearer Klassifikator Eingaben mit und ohne den Auslöser unterscheiden kann.
Ein umprogrammiertes Neuron kann ein Token in den Residual Stream des Modells einschleusen. Durch die Verkettung mehrerer Neuronen kann ein Angreifer Payloads erstellen, die in einem Terminal ausgeführt werden. Die Methode benötigt lediglich Rechenleistung für die Inferenz. Das bedeutet: Ein Rechner, der über ausreichend RAM zum Ausführen eines Modells verfügt, hat auch genug Kapazität, um dessen Gewichte auf diese Weise zu verändern.
Microsoft zufolge ist der Angriff nicht auf Modelle mit offenen Gewichten beschränkt. Jeder mit Schreibzugriff auf einen Checkpoint könnte ihn potenziell verändern, auch über ein kompromittiertes Konto, eine kompromittierte Pipeline oder ein kompromittiertes Speichersystem. Das Unternehmen bezeichnet daher die Integrität und Herkunft von Gewichten, also das Wissen darüber, woher ein Modell stammt und ob es vor der Bereitstellung verändert wurde, als zentrale Sicherheitsfragen.
Microsoft beschreibt bestehende und geplante Abwehrmaßnahmen
Microsoft Foundry überprüft die Herkunft von Modellen für Azure Direct Models und Hugging Face-Modelle, verknüpft Modelle mit offenen Gewichten durch Kontrollen bei der Beschaffung mit ihren ursprünglichen Herausgebern und führt sie in Microsoft-Containern aus, die separat auf kritische Schwachstellen geprüft werden. Das Unternehmen erklärt, diese Maßnahmen schützten Kunden vor den in der Untersuchung beschriebenen Angriffen, wenn die Modelle aus vertrauenswürdigen Forschungseinrichtungen stammen.
Microsoft warnt, dass auch ein vertrauenswürdiger Anbieter über die Trainingsinfrastruktur oder einen Insider kompromittiert werden könnte. Als Reaktion arbeiten die Teams daran, die Erkennungstechniken in ein Red-Teaming-Framework zu überführen, und prüfen das Scannen von Gewichten mit Frontier-Agenten als zusätzliches Sicherheitssignal beim Onboarding von Modellen mit offenen Gewichten. Außerdem plant das Unternehmen die Signierung von Modellen mit überprüfbarer Herkunft sowie manipulationssichere Audits.
Für Nutzer und Entwickler spricht die Untersuchung dafür, Modelle als potenzielle Insider-Risiken zu behandeln, die Handlungsmöglichkeiten von Agenten zu begrenzen und ihre Aktivitäten zu überwachen. Microsoft zufolge können Frontier-Agenten anomale Änderungen an Gewichten erkennen. Kein Scan kann jedoch zweifelsfrei beweisen, dass ein Modell sicher ist. Eine zuverlässige Erkennung erfordert den Vergleich mit den ursprünglichen, unveränderten Gewichten. Damit ist eine vertrauenswürdige Herkunft ein zentraler Bestandteil der Abwehr.
Microsoft Research: Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents
