USC-Ingenieur warnt: KI ist noch nicht bereit für kritische Infrastruktur

Eine Zuverlässigkeitslücke zwischen Verbrauchersoftware und kritischen Systemen

Siegel äußerte sich in einem für The BlackVeil Files aufgezeichneten Interview, das vollständig auf YouTube verfügbar ist. Er verwies auf seine Erfahrung mit dem Minuteman-Raketensystem, zu dem über 60 Jahre hinweg 450 Atomsprengköpfe gehörten, ohne dass es zu einem versehentlichen Start kam.

Seine zentrale Sorge ist, dass die Mathematik hinter den aktuellen KI-Engines nicht feststellen kann, wie häufig Fehler auftreten oder wie schwerwiegend sie sein werden. „Die Algorithmen, die in diesen KI-Engines zum Einsatz kommen, basieren auf einer Mathematik, die weder die Häufigkeit noch das Ausmaß ihrer Fehler begrenzen kann, absolut nicht“, sagte Siegel.

Er beschrieb ein System, das meistens plausible Antworten liefern, aber dennoch unvorhersehbar scheitern kann. „Man stellt zehn Fragen, und neunmal gibt es eine ziemlich plausible Antwort. Und beim zehnten Mal ist sie völlig falsch“, sagte er. „Und wenn man sich auf dieses zehnte Ergebnis verlässt, würde man sterben.“

Warum Siegel der Einsatz durch andere Sorgen bereitet

Siegel unterscheidet das „Spielzeuggeschäft“ des Silicon Valley, das er mit einer möglichst schnellen Markteinführung und neuen Funktionen verbindet, von der Entwicklung missionskritischer Systeme. Ein vorübergehender Ausfall sozialer Medien sei vielleicht ärgerlich, sagte er, während ein Ausfall der Rettungsdienst-Leitstelle Menschenleben kosten könne.

Außerdem stellte er häufige Software-Updates den Kontrollen in der Luftfahrt gegenüber. „Sie spielen alle 17 Sekunden einen Patch für ihre Software aus“, sagte Siegel. „In unserem Geschäft machen wir das nicht. Denn wenn man ein Flugzeug patcht, muss man die Lufttüchtigkeitsbescheinigung neu ausstellen. Das kostet 100 Millionen Dollar.“

Seine Sorge ist nicht unbedingt, dass die Unternehmen, die KI-Engines entwickeln, diese direkt in Rettungsdienst-Leitstellen einsetzen. „Meine Sorge ist nicht, dass die Entwickler dieser KI-Engines sie in ein Rettungsdienst-Leitsystem integrieren. Meine Sorge ist, dass es jemand anderes tun wird. Und wahrscheinlich passiert das bereits.“

Forderung nach Regulierung und einem klaren Umgang mit Unsicherheit

Zur künstlichen allgemeinen Intelligenz sagte Siegel, er lehre, warum er sie für unmöglich hält. Dabei verwies er auf Kurt Gödels Unvollständigkeitssätze, Alan Turings Beweis über Probleme, die kein Algorithmus lösen kann, und Roger Penroses Theorie, wonach das menschliche Gehirn auf einer nichtdeterministischen Quantenskala arbeitet.

Seiner Ansicht nach gibt es für KI-Systeme aus finanziellen Gründen einen Anreiz, zu raten, statt Unsicherheit offenzulegen. Kritische Infrastruktur sollte seiner Meinung nach hingegen Systeme verlangen, die nicht raten und klar signalisieren, wenn sie unsicher sind.

Siegel fordert eine Regulierungsbehörde nach dem Vorbild der FDA oder FAA, mit Spezifikationen, Schwellenwerten für Fehler und Testprotokollen. „Man kann über KI-Infrastruktur nicht einmal sinnvoll sprechen, ohne eine solche Behörde“, sagte er. Seine Warnung an Nutzer und Betreiber lautet: Eine beeindruckende Leistung bei gewöhnlichen Aufgaben belegt noch nicht die Zuverlässigkeit, die bei Systemen erforderlich ist, von denen Menschenleben abhängen.