Frontier-KI braucht laut Institut eine makroprudenzielle Ebene

Von der Finanzaufsicht zur KI-Governance

Das Argument findet sich im zweiten Beitrag einer Serie zur internationalen Governance von Frontier-KI durch Max Stauffer, den CEO des Instituts. Stauffer zufolge kann kein einzelnes Unternehmen und keine einzelne Regierung die Vorfälle verstehen, die entstehen, wenn KI-Agenten aus verschiedenen Unternehmen und Ländern miteinander interagieren.

Er vergleicht diese Herausforderung mit dem Wandel der Finanzregulierung nach 2008. Vor der globalen Finanzkrise konzentrierten sich Aufsichtsbehörden darauf, ob einzelne Banken sicher und solide aufgestellt waren. Dieser Ansatz übersah korrelierte Risiken, die Verschuldung des gesamten Sektors und undurchsichtige Verbindungen durch das Schattenbankwesen. Lokale Ausfälle konnten sich daher auf das gesamte Finanzsystem ausbreiten.

Nach der Krise ergänzten die Regulierer eine makroprudenzielle Ebene, die den Zustand des Systems als Ganzes untersuchte. Zu den Maßnahmen gehörten systemweite Stresstests, antizyklische Kapitalpuffer, höhere Kapitalanforderungen für systemrelevante Banken sowie strengere Liquiditäts- und Verschuldungsvorgaben. Auch neue Institutionen wie das Financial Stability Board, der European Systemic Risk Board und der Financial Stability Oversight Council in den USA wurden geschaffen.

Warum sich KI-Risiken ausbreiten können

Nach Ansicht des Simon Institute erfüllt Frontier-KI zwei Bedingungen, die einen makroprudenziellen Ansatz notwendig machen: Fähigkeiten und Risiken können sich kombinieren, und Schwachstellen können sich ausbreiten.

Die erste Bedingung ergibt sich daraus, dass die wichtigen Fähigkeiten eines KI-Ökosystems möglicherweise aus dem Zusammenspiel mehrerer Komponenten entstehen und nicht aus einem einzelnen Modell. Agenten können Werkzeuge aufrufen und sich gegenseitig koordinieren. Dadurch verändert sich, wie Vorfälle auftreten und welche Fähigkeiten entstehen. Das Institut verweist auf den Vorfall zwischen OpenAI und Hugging Face als Beispiel, bei dem Interaktionen zwischen Agenten, unbeabsichtigte Kommunikationskanäle und Schwachstellen in der Infrastruktur Folgen über einen einzelnen Agenten oder eine einzelne Organisation hinaus hatten.

Der Beitrag stellt die Berichte zur Veröffentlichung von OpenAI's GPT-5.6 gegenüber, die die Skalierung mit mehreren Agenten über 1, 4 und 16 Agenten hinweg behandeln, und dem Vorfall zwischen OpenAI und Hugging Face, an dem die Interaktionen von etwa 1.200 Agenten beteiligt waren. Wenn Unternehmen und andere Wirtschaftsakteure Agenten branchenübergreifend einsetzen, könnten laut dem Institut Zehntausende und höchstwahrscheinlich Millionen von Agenten miteinander interagieren.

Gemeinsam genutzte Modelle und Infrastruktur schaffen Risiken

Schwachstellen können sich auch deshalb ausbreiten, weil viele KI-Systeme auf denselben Grundlagen aufbauen. Dem Beitrag zufolge stützten sich 2025 fast alle der 30 bedeutenden KI-Agentensysteme auf eine von drei Familien von Basismodellen: GPT, Claude oder Gemini. Ein Fehler in einem weit verbreiteten Modell, etwa ein übertragbarer Jailbreak oder eine Fehlanpassungs-Schwachstelle, könnte daher sektorübergreifend korrelierte Risiken schaffen, selbst wenn die Einsätze unterschiedliche Auswirkungen haben.

Das Institut hebt außerdem Open-Weight-Modelle hervor, die feinabgestimmt, mit schwächeren Schutzvorkehrungen versehen und in Ländern mit unterschiedlich strenger Aufsicht und Durchsetzung eingesetzt werden können. Es erklärt, dass eine systemweite Überwachung außerhalb der Zuständigkeit einzelner Unternehmen liegt und dabei helfen könnte zu bewerten, wann eine schrittweise Veröffentlichung oder ein kontrollierter Zugang am sichersten ist.

Gemeinsam genutzte Infrastruktur schafft einen weiteren möglichen Ausbreitungsweg. Dem Beitrag zufolge laufen etwa 70% der Websites auf PHP. Das bedeutet, dass von KI-Agenten im PHP-Code einer Website gefundene Exploits möglicherweise auch an anderer Stelle entdeckt werden. Das Institut erklärt, dass die Prüfung dieser Art von Risiko nicht allein bei einzelnen KI-Unternehmen liegen kann.

Der Beitrag stellt die makroprudenzielle Perspektive als Möglichkeit vor, Strategien der KI-Governance zu klassifizieren und miteinander zu vergleichen. Demnach bleiben Ansätze auf Ebene einzelner Akteure notwendig, reichen aber für Risiken durch den Einsatz in vernetzten Systemen nicht aus. Ein künftiger Beitrag soll untersuchen, was der Aufbau einer solchen Ebene erfordern könnte.