Belfer-Center-Studie zeigt, wie KI einen großen Terroranschlag ermöglichen könnte

Ein Pre-Mortem zu einem befürchteten Ereignis

Laut der Studie behandeln die Modellberichte führender KI-Entwickler und die Risikobewertungsteams staatlicher Stellen wie UK AISI und US CAISI einen großen KI-gestützten Cyber-, Bio- oder Chemieterroranschlag inzwischen als ernstzunehmende Gefahr. Die Autoren schreiben, die Entwickler berichteten, dass sie einen nennenswerten Beitrag ihrer Modelle zu Angriffen in diesen Bereichen nicht ausschließen könnten. Auch neuere Gesetze auf Ebene der US-Bundesstaaten stuften das Szenario als glaubhaft ein.

Die Studie trägt den Titel "A Pre-mortem on The First Major AI-Enabled Terrorism Event and The Choices That Could Enable it" und fragt, wie ein solches Ereignis tatsächlich zustande kommen könnte. Sie stützt sich auf aktuelle Forschung zu den Risiken von Frontier-Modellen und auf bestehende Beispiele dafür, wie sich KI-Fähigkeiten, die für Kriminalität nützlich sind, bereits eingeführt und verbreitet haben. Am Ende stehen 9 falsifizierbare Prognosen und zwei beispielhafte hypothetische Szenarien.

Closed-Weight- und Open-Weight-Modelle bergen unterschiedliche Risiken

Die Autoren vertreten zwei zentrale Thesen. Erstens: Die Entscheidungen von Entwicklern, Vertreibern und Regierungen zu Einsatz, Schutzvorkehrungen und Erkennung bestimmen maßgeblich mit, ob KI die Hürde für einen Anschlag tatsächlich senkt. Zweitens: Die wahrscheinlichsten Wege zu einem großen Ereignis sind ein Closed-Weight-Modell, das ohne modernste Schutzvorkehrungen eingesetzt wird, oder ein Open-Weight-Modell, dessen Schutzmechanismen, sofern überhaupt nennenswerte vorhanden sind, späteren Manipulationen nicht standhalten.

Laut der Studie liegen Closed-Weight-Modelle bei den Frontier-Fähigkeiten einige Monate vor Open-Weight-Modellen, sodass das Risiko eines kontrafaktischen Zugewinns bei vollständiger Ausschöpfung bei geschlossenen Modellen wahrscheinlich höher ist. Ein Angreifer, der ein geschlossenes Modell nutzt, erreicht es jedoch nur über die Schnittstelle des Anbieters, der das Verhalten überwachen und darauf reagieren kann. Bei offenen Gewichten hat der Angreifer das Modell selbst in der Hand: Er kann es direkt per Prompt ansteuern, mit Scaffolding erweitern und verändern und ohne Anbieter betreiben.

• Bei Closed-Weight-Systemen gibt es nach Angaben der Autoren Stand Sommer 2026 keine bekannte Angriffsstrategie, die eine vollständig umgesetzte, mehrschichtige Verteidigung nach dem Stand der Technik zuverlässig umgeht. Der Engpass liegt also in der Umsetzung.
• Bei Open-Weight-Systemen erhöht der Stand der Technik die Kosten eines Missbrauchs erheblich, aber deutlich weniger als bei geschlossenen Systemen. Die Engpässe sind hier sowohl technischer Art als auch eine Frage der Umsetzung.

Wie sich schädliches Wissen herauslocken lässt

Laut der Studie gelten Jailbreaking und Aufgabenzerlegung als die wirksamsten Techniken gegen Closed-Weight-Modelle. Um an verwertbares schädliches Wissen aus gut abgesicherten Modellen zu gelangen, brauche es jedoch großes Geschick. Verteilt man die Aktivitäten auf mehrere Anbieter und Konten, sinkt diese Hürde, weil jeder Anbieter nur einen Ausschnitt sieht und keine einzelne Verweigerung oder Kontosperrung das Vorhaben stoppt.

Bei Open-Weight-Modellen sind Fine-Tuning und andere Techniken zur Veränderung der Gewichte nach Angaben der Autoren wirksam und erfordern nur begrenztes technisches Können auf Bachelor-Niveau. Ein einzelner Akteur kann das veränderte Modell dann breit verfügbar machen. Die Studie vermerkt, dass zum Zeitpunkt der Erstellung auf Hugging Face über 14.000 frei herunterladbare "uncensored" und "abliterated" Open-Weight-Modelle verfügbar sind.

Lücken bei Schutzvorkehrungen, Evaluierung und Überwachung

Die Autoren betonen, dass auch Closed-Weight-Modelle nicht aus der Kritik herausgenommen werden sollten. Zwischen dem Stand der Technik und der gängigen Praxis klaffen Lücken, und geschlossene Modelle seien oft anfällig für ausgefeilte Angriffe. Bei Open-Weight-Modellen gilt das Herausfiltern gefährlicher Inhalte aus den Pretraining-Daten derzeit offenbar als Stand der Technik gegen schädliches Fine-Tuning, wobei sich die Methoden verbessern.

Bei der Evaluierung seien die besten Benchmarks für gefährliche Fähigkeiten zunehmend Infohazards und würden deshalb unter Verschluss gehalten, ohne öffentliche Überprüfung. Open-Weight-Entwickler berichteten selten über Sicherheitsevaluierungen vor der Veröffentlichung, die böswillige Manipulation berücksichtigen, und fast kein Entwickler beider Typen veröffentliche randomisierte kontrollierte Studien zum menschlichen Fähigkeitszuwachs. Es gebe zudem keine belastbaren Wege, Benchmark-Ergebnisse in verhältnismäßige Maßnahmen zu übersetzen, und keinen klar kommunizierten verbindlichen Standard, der die Meldung von Fehlschlägen vorschreibt.

Die Nutzerüberwachung hat bei geschlossenen Modellen bereits echten Missbrauch aufgedeckt. Sie hängt aber davon ab, dass der Anbieter sich zur Überwachung entscheidet, dass die Maßnahmen gegen gezielte Umgehung bestehen und dass der Entwickler auf Risiken reagiert. Bei Open-Weight-Modellen ist sie selten verlässlich, weil sich diese privat betreiben lassen.

Lehren aus kleineren Vorfällen

Die Studie untersucht Präzedenzfälle in drei Bereichen: KI-generierte NCII (nicht einvernehmliche intime Bilder) und Deepfake-Missbrauch, Cyberkriminalität durch Kriminelle und staatliche Akteure sowie Terrorismus im kleinen Maßstab. Sie kommt zu dem Schluss, dass Schäden durch Closed-Weight-Modelle entstanden, wenn die Entwickler nicht den gesamten Satz an Schutzvorkehrungen konsequent umsetzten, den ihr Einsatz erlaubt hätte, insbesondere bei Fähigkeiten mit doppeltem Verwendungszweck. Schäden durch Open-Weight-Modelle traten auf, wenn vorgelagerte Schutzmechanismen oder deren Fehlen Manipulationen nicht überstanden und es keinen Erkennungsmechanismus gab.

Die Autoren folgern, dass sowohl der Open-Weight- als auch der Closed-Weight-Pfad glaubhafte Wege zu einem ersten großen KI-gestützten Terroranschlag sind und dass die gegenwärtige Praxis, auf leistungsfähigere Modelle hochgerechnet, wahrscheinlich nicht ausreicht.