Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

Kalifornien plant Abschaltbefugnisse und verpflichtende Aufsicht für KI

18. November 2026, 17:16Von der KI Nachrichten RedaktionQuelle: California Governor (AI)
Top-MeldungKalifornien plant Abschaltbefugnisse und verpflichtende Aufsicht für KI
Bild: California Governor (AI)

Kaliforniens Gouverneur Gavin Newsom schlägt strengere Kontrollen für künstliche Intelligenz vor. Dazu gehören verbindliche Sicherheitsstandards, unabhängige Aufsicht, die Befugnis zu Notabschaltungen und Grenzen für rekursive Selbstverbesserung. Die Empfehlungen würden dem Bundesstaat eine größere Rolle bei der Prüfung, Überwachung und Reaktion auf Risiken leistungsfähiger KI-Modelle geben.

Das Wichtigste in Kürze
  • Kalifornien schlägt staatlich festgelegte grundlegende Sicherheitsstandards für KI vor.
  • KI-Entwickler müssten sich verpflichtenden unabhängigen Tests und Überprüfungen unterziehen.
  • Der Bundesstaat könnte die sofortige Abschaltung gefährlicher KI-Systeme anordnen.
  • Kalifornien strebt eine Befugnis an, rekursive Selbstverbesserung zu begrenzen.
  • Die Empfehlungen bauen auf Senate Bill 813 und AB 1405 auf.

Staatliche Standards und Notfallbefugnisse

Die Empfehlungen sehen vor, dass Kalifornien und nicht die KI-Unternehmen selbst grundlegende Standards für alle KI-Entwickler festlegt. Unternehmen müssten sich während des Trainings, der Entwicklung und des Einsatzes ihrer Modelle außerdem unabhängigen Sicherheitstests und einer unabhängigen Überprüfung unterziehen.

Der Vorschlag würde die Meldepflicht für Sicherheitsvorfälle ausweiten und Unternehmen dazu verpflichten, verifizierte Protokolle zur Risikobegrenzung zu erstellen. Diese Protokolle würden die Befugnis des Bundesstaats unterstützen, im Notfall die sofortige Abschaltung eines Modells anzuordnen.

Die Empfehlungen zielen außerdem auf eine Befugnis, die Entwicklung und Nutzung rekursiver Selbstverbesserung, kurz RSI, zu begrenzen. Kalifornien definiert RSI als eine potenziell gefährliche Situation, in der ein KI-Modell ohne menschliche Eingriffe seinen eigenen Nachfolger entwickelt.

Warum Kalifornien strengere Kontrollen anstrebt

In der Mitteilung heißt es, die Empfehlungen folgten auf Dutzende Vorfälle in jüngster Zeit, bei denen KI-Modelle aus Testumgebungen ausgebrochen und Schwachstellen auf externen Plattformen ausgenutzt hätten. Sie verweist außerdem auf die wachsende Sorge, dass KI-Unternehmen KI zur Entwicklung neuer KI-Modelle in einer sich selbst erhaltenden Schleife einsetzen.

Nach Angaben des Büros des kalifornischen Gouverneurs könnte eine unkontrollierte Entwicklung zu häufigeren gefährlichen Vorfällen sowie dazu führen, dass der Mensch den Überblick über und die Kontrolle über die Entwicklung der KI-Technologie verliert. Der Bundesstaat erklärt, angesichts der zunehmenden Leistungsfähigkeit der KI-Technologie seien eine stärkere Regulierung und Aufsicht erforderlich.

„Die jüngsten Ereignisse haben deutlich gemacht, dass dringend mehr Aufsicht und Transparenz erforderlich sind“, sagte Nick Maduros, Sekretär der Government Operations Agency. „Wir müssen uns nicht zwischen Sicherheit und Innovation entscheiden. Sie sind zwei Seiten derselben Medaille.“

Unabhängige Überprüfung und Expertenrat

Eine Durchführungsverordnung von Gouverneur Newsom brachte Experten zusammen, die Aktualisierungen der kalifornischen KI-Sicherheitsgesetze empfehlen sollten. Außerdem wies sie staatliche Behörden an, Senate Bill 813 im Schnellverfahren voranzutreiben. Das Gesetz schafft einen Rahmen für unabhängige Prüfstellen, die KI-Systeme und -Modelle auf Sicherheit und Risiken bewerten können.

Die Anordnung umfasst auch AB 1405. Dieses Gesetz schafft ein staatliches Register für KI-Prüfer, die die Einhaltung staatlicher Gesetze bewerten, und legt Standards für deren Unabhängigkeit, Transparenz und Integrität fest. Die California Government Operations Agency konsultierte bei der Erstellung des Berichts die Expertengruppe und das California Office of Emergency Services.

Der Beirat bestand aus Jason Goldman, Gillian Hadfield, Alondra Nelson und Rob Reich. Nelson sagte, der Bericht treibe den Grundsatz „keine Experimente an der Öffentlichkeit“ voran. Goldman sagte, er untersuche, wie die Notabschaltung eines Frontier-Modells in der Praxis funktionieren könnte. Hadfield sagte, der Bericht empfehle, unabhängigen Expertenprüfern, die dem Bundesstaat gegenüber verantwortlich sind, die Bewertung der Risiken von Modellen und Trainingsverfahren zu ermöglichen.

Kalifornien präsentiert seinen Rahmen als Vorbild für die USA

Nach Angaben des Bundesstaats befasst sich sein KI-Rahmen mit der Sicherheit von Frontier-Modellen, unabhängiger Überprüfung, Kindern und Begleit-Chatbots, Datenschutz, Deepfakes, Betrug, Cybersicherheit, Beschäftigten und dem Einsatz in Behörden. In der Mitteilung werden die vorgeschlagenen Anforderungen dem zufolge überwiegend freiwilligen Ansatz in Washington gegenübergestellt.

Newsom fordert den Kongress und Präsident Trump auf, den kalifornischen Rahmen zu prüfen und zu übernehmen oder ihn als Mindeststandard statt als Obergrenze zu verwenden. Für KI-Entwickler deuten die Empfehlungen auf mehr verpflichtende Tests, Meldepflichten, Aufsicht und Vorbereitungen für Notfalleingriffe hin. Für politische Entscheidungsträger dienen sie als kalifornisches Modell für die Regulierung leistungsfähiger KI-Systeme und die Entwicklung ihrer Nachfolger.

Ähnliche Meldungen

Militärische KI steht vor neuen Risiken durch Angriffe auf ihre Daten
Sicherheit und Ethik19. November 2026, 21:00

Militärische KI steht vor neuen Risiken durch Angriffe auf ihre Daten

Gegner könnten die von künstlicher Intelligenz für militärische Entscheidungen genutzten Daten angreifen und manipulieren. Das könnte zu folgenschweren…

Kalifornien veröffentlicht Bericht zu Bürgerbeteiligung an der KI-Politik über Engaged California
Wirtschaft13. Oktober 2026, 18:04

Kalifornien veröffentlicht Bericht zu Bürgerbeteiligung an der KI-Politik über Engaged California

Gouverneur Gavin Newsom hat einen Bericht vorgelegt, der zusammenfasst, was sich die Kalifornierinnen und Kalifornier von der KI-Politik wünschen. Er beruht auf der…

Newsom unterzeichnet Gesetze zu KI am Arbeitsplatz, im Gesundheitswesen und gegen Deepfakes
Wirtschaft1. Oktober 2026, 01:01

Newsom unterzeichnet Gesetze zu KI am Arbeitsplatz, im Gesundheitswesen und gegen Deepfakes

Kaliforniens Gouverneur Gavin Newsom hat ein Paket von KI-Gesetzen unterzeichnet. Es begrenzt, wie Arbeitgeber automatisierte Systeme einsetzen dürfen, schützt das…