KI-Halluzinationen landen vor Gericht: ein globaler Überblick über neue Fälle

Vom privaten Chatfenster zum öffentlichen Streit

Der Beitrag stammt von Wenlong Li, Research Professor an der Zhejiang University Guanghua Law School und PPPM-Preisträger 2026, und gibt die Meinung des Autors wieder, nicht zwingend die Haltung des FPF. Li argumentiert, Halluzinationen seien lange als amüsante oder peinliche Schwäche behandelt worden. Diese Sichtweise trage nicht mehr, schreibt er, denn 2026 seien falsche oder unbelegte generierte Aussagen in Suchoberflächen, Kundenservice-Chatbots, öffentlich auftretenden KI-Accounts, selbst veröffentlichten Medien, fachlichen Kommentaren und Datenschutzbeschwerden aufgetaucht.

Eine zentrale Datenbank für solche Streitfälle gebe es nicht, so der Autor. Bestehende Halluzinationsdatenbanken dokumentierten vor allem erfundene Zitate oder unzuverlässiges KI-Material in Gerichtsverfahren, das nicht Gegenstand seiner Untersuchung ist. Die Fälle wurden stattdessen über die Beobachtung rechtlicher und politischer Entwicklungen, gezielte Recherchen und die Auswertung von Fach- und Social-Media-Feeds zusammengetragen. Li betont, es handle sich nicht um eine systematische Auswertung, und er erhebe keinen Anspruch darauf, jeden relevanten Streitfall zu erfassen. Eine Tabelle im Beitrag umfasst 11 gerichtliche und behördliche Verfahren; die Aufnahme bedeutet nicht, dass eine Haftung festgestellt wurde.

Als „KI-Halluzination“ gilt in dem Beitrag maschinell erzeugter Text, der eine überprüfbare Tatsachenbehauptung so darstellt, als sei sie belegt, obwohl sie falsch, unbelegt oder nicht verlässlich auf Belege zurückführbar ist. Li merkt an, der Begriff sei umstritten und unterstelle dem Modell weder menschliche Überzeugungen noch Täuschungsabsicht.

China: Nutzer und Anbieter in der Verantwortung

Fünf der Fälle stammen aus China, der Autor warnt aber davor, daraus zu schließen, dass Halluzinationen dort mehr Streit auslösen als anderswo. Zwei Entscheidungen legen die Verantwortung auf Nutzer, die generierten Text zu öffentlichen Inhalten gemacht haben.

• In einem Fall vor dem Volksgericht des Bezirks Binjiang in Hangzhou ließ ein Betreiber eines Self-Media-Kanals ein KI-System einen Artikel verfassen, der ein fremdes Unternehmen als Tochter von Alibaba darstellte, versah ihn mit Alibaba-Branding und veröffentlichte ihn ohne deutlich sichtbare KI-Kennzeichnung. Das Gericht sah den Betreiber in der Pflicht, den Artikel zu prüfen, und wertete das Verhalten als unlauteren Wettbewerb, was Li als etwas rätselhaft bezeichnet.
• In einem Fall vor dem Internetgericht Guangzhou übergab ein Finanzkommentator einer KI-Anwendung ein ungeprüftes Dokument mit 1.700 chinesischen Schriftzeichen, ließ es auf mehr als 10.000 Zeichen erweitern und veröffentlichte die daraus entstandenen Vorwürfe gegen ein Unternehmen als „Originalbeitrag“. Das Gericht stellte eine Rufschädigung fest und betonte eine erhöhte, die gesamte Kette umfassende Sorgfaltspflicht, die sich aus der beruflichen Stellung des Publizierenden, der Kontrolle über die Prompts und der Entscheidung zur Verbreitung ergebe.

Anders endeten die Fälle, die sich gegen Anbieter richteten. Vor dem Internetgericht Hangzhou ging es um eine KI-Anwendung, die einem Nutzer falsche Angaben über einen Hochschulcampus machte und anschließend Aussagen generierte, die eine Entschädigung für den Fall einer falschen Antwort versprachen. Das Gericht wies die Klage ab: Das Versprechen sei dem Anbieter nicht als verbindliche Willenserklärung zuzurechnen, der Anbieter habe Warnhinweise gegeben und angemessene Gegenmaßnahmen ergriffen, und der Nutzer habe weder Vertrauen noch Schaden nachgewiesen.

In einem Fall aus Nanjing verknüpfte die KI-Antwort von Baidu einen identifizierbaren Anwalt fälschlich mit einer Haftstrafe und einem Sprengstoffdelikt. Die Gerichte unterschieden die zusammengefasste KI-Antwort von Suchvorschlägen und verwandten Suchbegriffen, werteten sie als unmittelbar von der Plattform erzeugte Darstellung und verpflichteten Baidu, sich für die Rufschädigung zu entschuldigen.

Deutschland: Ausgaben unter institutionellem Banner

Deutschland liefert nach Lis Einschätzung derzeit die klarsten Beispiele für öffentlich auftretende KI-Aussagen, die mit dem Anschein sachlicher Autorität daherkommen. Im Verfahren zu Googles AI Overview (26 O 869/26) erließ das Landgericht München I eine einstweilige Verfügung, nachdem eine KI-generierte Suchzusammenfassung zwei Verlage mit Betrug, Abofallen und anderen zweifelhaften Praktiken in Verbindung gebracht hatte. Das Gericht behandelte die Zusammenfassung als eigenen Inhalt von Google, weil sie Quellenmaterial zu einer neu formulierten Antwort umgestaltete und Zusammenhänge behauptete, die die zitierten Quellen nicht herstellten.

In der Sache Campact gegen X.AI LLC (324 O 461/25) untersagte das Landgericht Hamburg X.AI, die falsche Aussage von Grok zu wiederholen, Campact hänge stark von Bundesmitteln ab. Durch die Veröffentlichung über den öffentlichen Account @grok sei die Ausgabe ihrem Betreiber zuzurechnen. Laut dem Beitrag stehen in beiden Verfahren die Autorität im Mittelpunkt, die durch Gestaltung und Präsentation der Ausgabe durch den Anbieter entsteht.

Was der Flickenteppich bedeutet

Li beschreibt einen Flickenteppich von Reaktionen in verschiedenen Rechtsgebieten, geprägt von der Oberfläche, dem Akteur, der die Aussage einsetzt oder übernimmt, der Art des Schadens und den verfügbaren Rechtsbehelfen. Er benennt mehrere Bruchlinien: private Interaktion gegenüber öffentlicher Externalisierung, Nutzermissbrauch gegenüber institutioneller Übernahme, Warnhinweis gegenüber berechtigtem Vertrauen, individuelle Korrektur gegenüber Eingriffen auf Systemebene sowie Modellausgabe gegenüber der Gestaltung des umgebenden Dienstes.

Eine Halluzination wird aus seiner Sicht dann rechtlich relevant, wenn sie externalisiert, verstärkt, institutionalisiert, als Grundlage für Entscheidungen genutzt oder schwer anfechtbar und korrigierbar gemacht wird. Das entstehende Recht frage, wer die Aussage in Umlauf gebracht hat, wie sie gerahmt war, welche Erwartungen an ihre Verlässlichkeit sie geweckt hat und wer sie überprüfen konnte. Für Unternehmen, die generative Werkzeuge einsetzen, und für Menschen, die deren Ausgaben veröffentlichen, deuten die Fälle darauf hin, dass Warnhinweise, Kennzeichnung und Prüfpraktiken bei der Zuordnung von Verantwortung eine Rolle spielen können.