Data & Society schult staatliche Ermittler: Diese Fragen sollten sie KI-Unternehmen stellen

Eine Workshopreihe für Prozessjuristen

Das Public Technology Leadership Collaborative von Data & Society und Tech Justice Law haben die Reihe in diesem Sommer gemeinsam organisiert. Becca Ricks, Projektleiterin des Collaborative, und Tiffany Gillis Brown, Litigation Counsel bei Tech Justice Law, fassten die Erkenntnisse in einem Beitrag zusammen, der am 4. November 2026 erschien.

Nach Angaben der Organisatoren wollen Prozessjuristen und Vollzugsbehörden verstehen, wie Tech-Unternehmen Sicherheitsentscheidungen bei generativen KI-Produkten treffen. Es fehle ihnen aber nicht selten das technische Wissen darüber, wie die Produkte gebaut werden, wie Sicherheitsbewertungen ablaufen und wo die Verantwortung zwischen den beteiligten Unternehmen liegt. Wer Schäden zur Rechenschaft ziehen wolle, müsse wissen, welche Fragen zu stellen sind.

In der ersten Sitzung ging es um eine technische Karte der KI-Lieferkette und zentrale Konzepte der KI-Sicherheit. Die zweite behandelte, an welchen Stellen im Lebenszyklus eines KI-Produkts Sicherheitsbewertungen stattfinden. Die dritte war eine praktische Übung anhand hypothetischer Szenarien, die auf realen Fällen beruhen. Insgesamt traten sechs Gastexperten in der Reihe auf.

Ein konzentrierter Stack verteilt die Verantwortung

Eine gängige Variante des Tech-Stacks für generative KI beschreiben die Organisatoren in vier Schichten: Chips, Cloud Computing, Foundation Models und Anwendungen. Die Anwendungsschicht nutzen Verbraucher und Unternehmen, die darunterliegenden Schichten bilden die Infrastruktur, die zum Bauen und Betreiben von KI nötig ist.

Laut den Autoren dominiert in jeder Infrastrukturschicht eine kleine Zahl von Unternehmen. NVIDIA stellt den weitaus größten Teil der Chips her, die für den Bau von KI genutzt werden. Amazon, Microsoft und Google kontrollieren den Großteil der Cloud-Rechenleistung. OpenAI, Anthropic und Google liefern die meisten KI-Modelle hinter Chatbots und Tools.

Weil die Infrastruktur so kostspielig ist, verweisen die Autoren auf zirkuläre Finanzierung und vertikale Integration. Sie nennen als Beispiel, dass NVIDIA zig Milliarden Dollar in KI-Unternehmen wie OpenAI investiert, ebenso in Neocloud-Anbieter, die KI-Systeme betreiben. Es entsteht ein Geflecht, in dem dieselben wenigen Unternehmen einander beliefern, in sich investieren und voneinander abhängen. Für die Rechenschaftspflicht bedeutet das: Die Verantwortung für einen konkreten Schaden liegt selten bei einem einzigen Unternehmen. Ermittler müssen daher den gesamten Stack verstehen, um zu erkennen, wer zentrale Entscheidungen getroffen hat und wer den Schaden hätte verhindern können.

Sicherheitsentscheidungen und die Grenzen von Benchmarks

Sicherheitsentscheidungen verteilen sich über den gesamten Produktlebenszyklus, und das Panel lieferte eine Checkliste mit Fragen für Prüfer und Prozessjuristen. Zu Daten und Training gehören unter anderem folgende Beispiele:

• Woher stammen die Trainingsdaten, und warum wurden Quellen ausgewählt oder ausgeschlossen?
• Welche externen Dienstleister waren an der Beschaffung oder Verarbeitung der Daten beteiligt?
• Welche automatisierte oder menschliche Prüfung hat den Trainingskorpus auf schädliche, illegale oder verzerrte Inhalte untersucht?
• Wurden Bias-Audits durchgeführt, und wenn ja, von wem, wann und mit welchen Ergebnissen?
• Welche Dokumentation beschreibt Zusammensetzung, Herkunft und Lizenzstatus des Datensatzes?

Die Autoren betonen, dass die Wissenschaft der KI-Evaluierung noch unausgereift ist. Benchmarks sind standardisierte Tests, die bestimmte Eigenschaften eines KI-Systems messen. Es gebe jedoch kaum Konsens darüber, wie Evaluierungen durchzuführen sind oder welche Benchmarks am aussagekräftigsten sind. Unter Verweis auf einen Bericht des Center for Democracy & Technology halten sie fest, dass die meisten KI-Labore ihre Sicherheitstests selbst entwerfen und intern validieren und die Ergebnisse selektiv berichten. Ein hoher Wert korreliere nicht zwingend mit Schäden in der realen Welt.

Prozessjuristen sollten deshalb hinterfragen, was es bedeutet, wenn ein Unternehmen sagt, seine Modelle hätten Sicherheitsbewertungen bestanden. Ein einzelner durchgefallener Benchmark sei allerdings womöglich kein Beleg für Fahrlässigkeit. Nach Worten der Autoren sagt die Wahl eines Benchmarks und deren Begründung durch das Unternehmen oft mehr aus als das Testergebnis selbst.

Discovery vor- und nachgelagert

Gerichte lassen Verfahren gegen Technologieunternehmen nach Angaben der Organisatoren zunehmend über die Phase der Klageabweisungsanträge hinaus in die vollständige Tatsachenermittlung gehen. Damit werde die Discovery zu einem wichtigen Instrument. Laut einer Analyse neuerer Tech-Verfahren durch Tech Justice Law wehren sich Unternehmen meist breit gegen Datenanfragen und berufen sich auf unzumutbaren Aufwand, Geschäftsgeheimnisse und anwaltliche Privilegien. KI-Unternehmen beriefen sich zudem auf Section 230 oder den Ersten Verfassungszusatz, um zu argumentieren, bestimmte Produkte oder Funktionen seien vor der Discovery geschützt.

Die Autoren schlagen ein Upstream-Downstream-Modell vor. Die vorgelagerte Discovery betrachtet das interne Verhalten des Unternehmens, etwa interne Tests, Quellcode und die Begründung für Designentscheidungen. Die nachgelagerte Discovery konzentriert sich auf die Nutzer, darunter Abhängigkeit, Verhalten und Daten. Wer die grundlegende Funktionsweise der Technologie verstehe und Technologen früh einbinde, könne wirksame Anträge auf Herausgabe von Dokumenten (requests for production) und Fragenkataloge (interrogatories) verfassen, so die Autoren.

Was das für Vollzugsbehörden bedeutet

Die Teilnehmenden gaben den Organisatoren zufolge an, mit einem fundierteren technischen Verständnis und einem klareren Blick darauf aus der Reihe gegangen zu sein, wo KI-Sicherheitsentscheidungen fallen. Die Autoren werten die hohe Beteiligung als Signal, dass Vollzugsbehörden nach solcher technischen Expertise suchen.

Zugleich bleibe viel zu tun: Die Wissenschaft des KI-Benchmarkings stehe noch am Anfang, das Feld habe sich noch nicht auf ein gemeinsames technisches Vokabular verständigt, und die rechtlichen Rahmenwerke holten erst auf. Das lasse, so ihr Fazit, Raum für weitere Erkundungen.