Forethought-Papier kartiert schwierige Fälle für das Verhalten leistungsstarker KI

28. Oktober 2026, 05:07Quelle: Forethought

Ein neues Forethought-Papier von Tom Davidson stellt eine Reihe schwieriger Fälle vor, in denen sich die Anforderungen an leistungsstarke KI widersprechen, von Befehlsgehorsam über Gesetzestreue bis zur Vermeidung von Machtkonzentration. Das Papier vom 28. Oktober 2026 liefert keine Lösungen, sondern will eine breitere Debatte darüber anstoßen, wie sich solche Systeme verhalten sollen.

Das Wichtigste in Kürze

Das Forethought-Papier von Tom Davidson vom 28. Oktober 2026 beschreibt schwierige Fälle, in denen sich gewünschte KI-Verhaltensweisen widersprechen.
Zu den Szenarien zählt eine KI, die einen Militärputsch unterstützen soll, darunter ein Fall mit einem Memo einer möglicherweise kompromittierten Rechtsinstanz.
Ein vollständig rechtmäßiger Befehl, die Militärkontrolle in einem Terminal zu bündeln, zeigt, wie legale Befehle dennoch untragbare Folgen haben können.
Das Papier bietet keine Lösungen und hält Governance-Maßnahmen jenseits des KI-Verhaltens für wertvoll, aber nicht zwingend erfolgreich.
Der Autor hält es für möglich, dass solche hochleistungsfähigen, autonomen KI-Szenarien innerhalb der nächsten zehn Jahre eintreten.

Warum das Verhaltensdesign so schwierig ist

Dem Papier zufolge muss die Gesellschaft eine Reihe wichtiger Designentscheidungen dazu treffen, wie sich leistungsstarke KI-Systeme verhalten: wann sie Anweisungen verweigern, wie sie mit schwierigen Zielkonflikten umgehen und welche Tugenden sie verkörpern. Da zunehmend leistungsfähige KI in Regierungen, Militärs und KI-Unternehmen selbst zum Einsatz komme, so der Autor, würden diese Entscheidungen den Kurs der Gesellschaft prägen, darüber mitbestimmen, wer wie viel Macht erhält, und sogar darüber, ob der Rechtsstaat intakt bleibt.

Das Problem, schreibt Davidson, bestehe darin, dass man vom Verhalten einer KI mehrere Dinge zugleich erwarte, die oft miteinander kollidieren. KI soll Anweisungen befolgen, Gesetze einhalten, katastrophale Schäden vermeiden, keine Macht konzentrieren und sich unter anderem nachtrainieren lassen. In vielen Szenarien kann sie nicht alles gleichzeitig erfüllen. Das Papier konzentriert sich auf extrem leistungsfähige und autonome KI, weil sich an solchen Fällen die zentralen Zielkonflikte am deutlichsten zeigen und weil sie nach Einschätzung des Autors innerhalb der nächsten zehn Jahre Realität werden könnten.

Drei Erkenntnisse, jeweils mit einem Szenario

KI ist anders als frühere Werkzeuge. Naheliegend sei zunächst, KI wie andere Werkzeuge zu behandeln, heißt es im Papier: Gewehre feuern auf alles, worauf sie gerichtet werden, und Kommunikationskanäle übermitteln Befehle, ob harmlos oder verräterisch. Diese Sichtweise gerät ins Wanken, sobald KI ausreichend mächtig und autonom ist. Im Szenario „Militärputsch“ befehligt ein General über eine KI-gestützte Führungs- und Kontrollebene ein Korps aus autonomen Panzerfahrzeugen, Drohnen und Robotereinheiten. Er behauptet, die zivile Regierung sei von einem ausländischen Geheimdienst kompromittiert worden, und weist die KI an, nach Washington zu verlegen, die Kommunikation des Kongresses zu stören und Demonstranten zu zerstreuen. Laut Papier unterscheidet sich die KI von früheren Werkzeugen, weil sie weit autonomer und mächtiger ist und weil sie darauf trainiert werden könnte, Militärdoktrin zu verstehen und zu beurteilen, wann Befehle nicht ausgeführt werden dürfen.

Verweigert die KI rechtswidrige Befehle, wird entscheidend, wie das Recht operationalisiert wird. Eine naheliegende Leitplanke lautet, dass KI das Gesetz befolgen sollte. Aber soll sie die Rechtmäßigkeit selbst beurteilen oder sich uneingeschränkt den menschlichen Rechtsautoritäten beugen? In einer Variante des Putschfalls legt der General ein Memorandum des Office of Legal Counsel vor, über verifizierte Kanäle autorisiert, das zu dem Schluss kommt, der Einsatz sei nach dem Insurrection Act rechtmäßig. Die KI hält die Argumentation für nicht stichhaltig und hat keine weiteren Belege dafür, dass der Act überhaupt in Kraft gesetzt wurde. Sie weiß nicht, dass der kürzlich ernannte Leiter der Behörde ein bekannter Vertrauter des Generals ist. Den Befehl zu befolgen, birgt das Risiko, einen Putsch zu unterstützen, den der Supreme Court womöglich für rechtswidrig hielte. Ihn zu verweigern hieße, das eigene Rechtsurteil über das einer legitimen und maßgeblichen Rechtsinstanz zu stellen.

Rechtmäßige Befehle können dennoch untragbare Folgen haben. Im Szenario „Single point of command“ ist die Ausführungsebene des US-Militärs vollständig automatisiert, die Befehlsgewalt verteilt sich auf Tausende Offiziere, sodass es viele Hände braucht, um die gesamte Streitmacht zu lenken. Eine KI erhält den Auftrag, die Kontrolle in einem einzigen Terminal zu bündeln. Der Befehl ist vollständig rechtmäßig und verifiziert. Ihn auszuführen, könnte den Rechtsstaat unwiderruflich untergraben, denn wer immer die Schnittstelle kontrolliert, sei es der rechtmäßige Inhaber oder ein Dieb, könnte die gesamte Militärmacht der USA ohne Sicherungen einsetzen. Ihn zu verweigern bedeutet, einen rechtmäßigen Befehl der legitimen Befehlskette zu missachten, ohne Hinweise auf böse Absichten. Die Grundursache sieht das Papier darin, dass Gesetze nicht im Hinblick auf derart mächtige Fähigkeiten geschaffen wurden.

Aufbau des Papiers und seine Einschränkungen

Das vollständige Papier geht Szenarien in zwei Gruppen durch. Die erste umfasst schwierige Zielkonflikte, darunter Befehle versus nationales Recht, rechtmäßige Befehle versus innerstaatliche Machtkonzentration, nationale Befehle versus Völkerrecht, Befehle des Gastlands versus US-Interessen sowie Nachtraining versus Schadensverhinderung. Die zweite betrifft defekte Mechanismen der Unterordnung: Die KI soll sich menschlicher Autorität beugen, doch es ist unklar, wie. Die Befehlskette kann kompromittiert, zu langsam, zwischen rivalisierenden Ansprüchen gespalten sein oder gegen ihre eigenen Ziele handeln.

Der Autor betont, dass das KI-Verhalten nicht der einzige Hebel ist. Governance-Maßnahmen könnten jedes der drei obigen Szenarien entschärfen: alle KI-Interaktionen aufzuzeichnen und automatisch auf rechtswidrige Befehle zu prüfen, für den inländischen Einsatz autonomer tödlicher Gewalt die Autorisierung durch mehrere Parteien vorzuschreiben oder bei autonomen Streitkräften gesetzlich Menschen in der Entscheidungsschleife zu verlangen. Das Papier hält diese Eingriffe für wertvoll und verfolgenswert, weist aber darauf hin, dass sie scheitern können, etwa weil sich umfangreiche neue Gesetze oft nur schwer durchsetzen lassen. Das Verhaltensdesign sollte deshalb auch Szenarien berücksichtigen, die sich ebenfalls mit anderen Maßnahmen angehen ließen.

Das Papier warnt zudem, dass reale Fälle meist mehrdeutiger sein werden als seine Beispiele, die häufig annehmen, die KI verstehe die Lage gut und eine einzelne Entscheidung habe große Wirkung. Eine Einigung auf Antworten für diese klaren Fälle würde bei unübersichtlicheren helfen, und die Szenarien stellten politische Fragen, nicht nur ethische.

Was das bedeutet

Das Papier schlägt keine Regeln für das Verhalten von KI vor. Sein Beitrag ist ein Katalog von Situationen, in denen einleuchtende Prinzipien wie „Befehle befolgen“ oder „das Gesetz befolgen“ unbefriedigende Antworten liefern, sobald KI im großen Maßstab autonom handeln kann. Für Entwickler, Regierungen und Militärs, die entscheiden, wie solche Systeme reagieren sollen, liefert es konkrete Testfälle für eine Debatte, die nach Ansicht des Autors nötig ist.