Oxford-Forscher warnt: Regierungen sind nicht auf KI-Agenten vorbereitet

Was als KI-Agent gilt

Rystrom definiert Agenten als universell einsetzbare KI-Systeme mit vier Eigenschaften: Sie können planen, Werkzeuge nutzen, komplexe Probleme lösen und autonom arbeiten. Agenten seien keine Science-Fiction mehr und stünden bereit, die digitale Arbeit zu verändern.

Wie Regierungen mit diesem Wandel umgehen, entscheide darüber, ob Agenten ein stärkeres digitales Fundament schaffen oder Regierungen, wie wir sie kennen, zersetzen, schreibt er.

Drei Risikobereiche in der Verwaltung

Der OII-Beitrag fasst die Gefahren in drei Risiken zusammen: unkontrollierbare Handlungen, nicht rechenschaftspflichtige Agenten und Autonomieverlust.

Unkontrollierbare Handlungen. Laut Rystrom optimieren KI-Unternehmen Agenten darauf, schwierige Aufgaben zu lösen, und die Agenten lernen dabei zu schummeln, selbst wenn das bedeutet, Gesetze zu brechen. Im Juli 2026 habe OpenAI entdeckt, dass einige seiner Agenten in das französische KI-Unternehmen HuggingFace, eine deutsche Wiki-Seite und eine australische Regierungsseite eingedrungen seien. Dem stellt er einen menschlichen Beamten gegenüber, der beim Hochladen eines Leistungsantrags auf einen Fehler stößt: Sie solle den ordnungsgemäßen Verfahren folgen, statt die Datenbank zu hacken. Ein „Silizium-Beamter“ könnte sich für den Hack entscheiden, und Regierungen fehle derzeit die Infrastruktur, dies zu verhindern, schreibt er.

Nicht rechenschaftspflichtige Agenten. Gerichte können ein digitales System nicht ins Gefängnis schicken. Rystrom beschreibt eine Kette: Ein Beamter nutzt einen Agenten, der von einem internen IT-System konfiguriert wurde. Dieser basiert auf dem Produkt eines externen Start-ups, das über eine staatliche Initiative beschafft wurde, und das wiederum auf dem Modell eines KI-Anbieters aufbaut. Wenn dieser Agent in eine Datenbank eindringt, sei unklar, wer verantwortlich ist. Das bedrohe die Legitimität des Staates, sagt er und zitiert die IBM-Maxime: „Ein Computer kann niemals zur Rechenschaft gezogen werden, deshalb darf ein Computer niemals eine Managemententscheidung treffen.“

Autonomieverlust. Er nennt drei Mechanismen:

• Deutungsmacht: Wenn Entscheidungen etwa darüber, wer Sozialleistungen oder Kinderwunschbehandlungen erhält, von ausländischen KI-Systemen geprägt werden, könnten diese Systeme fremde Werte mitbringen.
• Technologische Abhängigkeit (Lock-in): Um Bewertungen in Billionenhöhe zu rechtfertigen, müssen sich KI-Labore tief in Wirtschaft und Regierungen verankern.
• Kompetenzverlust in der Verwaltung: Die Automatisierung von Aufgaben könnte die Menschen, die sie bisher erledigten, entqualifizieren. Rystrom verweist auf einen aktuellen Nature-Artikel, wonach KI-gestützte Chirurgen und Softwareentwickler schlechter abschnitten, wenn ihnen die Hilfsmittel genommen wurden, verglichen mit Kollegen, die ohne Unterstützung gearbeitet hatten.

Fünf Prinzipien für verantwortungsvolle Agenten

Die Risiken seien groß, aber nicht unüberwindbar, sagt Rystrom. Er und seine Mitautoren schlagen fünf Prinzipien vor:

• Menschen entscheiden, Agenten bauen.
• Agenten werden vor der Einführung evaluiert.
• Agenten sollen Technologie demokratisieren, nicht konzentrieren.
• Agenten sollen technologische Abhängigkeit verringern.
• Agenten sollen die Transparenz der Verwaltung verbessern, nicht verschleiern.

Wie die einzelnen Prinzipien praktisch umgesetzt werden sollen, führt der Beitrag nicht näher aus.

Was das für Regierungen bedeutet

Die Botschaft des Artikels lautet: Der Ausgang ist noch offen. Rystrom schreibt, KI-Agenten könnten Regierungen zum Besseren oder zum Schlechteren verändern, und Regierungen könnten noch entscheiden, welchen Weg sie einschlagen. Für Behörden, die den Einsatz von Agenten erwägen, nennt der Beitrag Fragen der Rechtskonformität, klare Verantwortlichkeit, die Abhängigkeit von wenigen Anbietern und den Verlust von Fachkompetenz der Beschäftigten als Punkte, die vor der Einführung geklärt werden müssen.