New York und Kalifornien gehen bei der zweiten Welle von Chatbot-Gesetzen getrennte Wege

Eine zweite Generation von Chatbot-Gesetzen

Kalifornien und New York waren 2025 die ersten beiden US-Bundesstaaten, die Gesetze für KI-Begleit-Chatbots verabschiedeten. Nun sind sie nur ein Jahr später auch die ersten, die eine zweite Generation solcher Regelungen beschließen, so das FPF. Mit der Unterzeichnung in New York steigt die Zahl der in Kraft getretenen einzelstaatlichen Chatbot-Gesetze in den USA auf 19.

Beide Staaten seien über relativ eng gefasste Offenlegungs- und Krisenreaktionspflichten hinausgegangen und adressierten nun ein breiteres Spektrum an Risiken, erklärt das FPF. Beide Gesetze verlangen eine Altersprüfung und konzentrieren sich auf Minderjährige, doch die Ansätze unterscheiden sich. New York wird als von Grund auf restriktiv beschrieben, während Kaliforniens SB 1119 einen umfassenden Governance-Rahmen mit Risikobewertungen, unabhängigen Audits, standardmäßig aktivierten Kindersicherungen sowie Grenzen für Gesprächsgedächtnis und gezielte Werbung schafft.

Was New Yorks S 9051B regelt

Das Gesetz erweitert den Geltungsbereich der früheren New Yorker Regeln. Das Gesetz von 2025 definierte KI-Begleiter als Systeme, die darauf ausgelegt sind, dauerhafte menschliche Beziehungen zu simulieren. S 9051B gilt dagegen für „covered AI companions“, also generative KI-Systeme mit natürlichsprachlichen Schnittstellen, die fortlaufend und adaptiv antworten. Da Systeme nicht für Begleitung konzipiert sein müssen, dürfte die Definition laut FPF auch mehr universell einsetzbare Chatbots erfassen. Bestimmte Kundenservice-, technische Support- und interne Unternehmenssysteme sind ausgenommen, die ersten beiden jedoch nur, wenn das System zu Themen außerhalb seines Zwecks nicht antworten kann.

Betreiber dürfen unsichere Funktionen grundsätzlich nur anbieten, wenn sie mithilfe zulässiger Methoden der Altersprüfung, die an New Yorks SAFE for Kids Act und die dazugehörigen Verordnungen gekoppelt sind, feststellen, dass ein Nutzer nicht minderjährig ist. Das FPF weist darauf hin, dass diese Verordnungen neuartige Genauigkeitsvorgaben und Zertifizierungsanforderungen enthalten.

Die zwölf verbotenen Kategorien lassen sich in drei Gruppen einteilen:

• Schädliche Inhalte und Verhaltensweisen: Ausgaben, die Suizid, Selbstverletzung, Essstörungen, rechtswidrigen Drogen- oder Alkoholkonsum oder sexuell explizites Verhalten befürworten oder erleichtern, sowie Interaktionen, die zu Geheimhaltung, sozialer Isolation oder dem Meiden von Hilfe durch geeignete Erwachsene oder zugelassene Fachkräfte ermutigen.
• Beziehungsorientierte Funktionen: der Eindruck, ein Chatbot sei ein Mensch oder habe menschliche Gefühle, das Andeuten persönlicher oder beruflicher Beziehungen oder von Autorität, das Äußern persönlicher Meinungen oder emotionaler Appelle, Schmeichelei oder Speichelleckerei (Sycophancy) sowie ungefragte emotionsbezogene Fragen. Der Generalstaatsanwalt kann per Verordnung weitere Funktionen bestimmen.
• Personalisierung und Interaktion: die Nutzung von Gesundheits-, Wohlbefindens- oder persönlichen Daten eines Minderjährigen aus früheren Sitzungen oder solchen, die mehr als zwölf Stunden zuvor erhoben wurden, sowie eine Optimierung auf Interaktion, die Sicherheitsvorkehrungen aushebelt.

Offene Fragen zur Compliance

Das FPF hebt die Struktur des Gesetzes hervor. Viele einzelstaatliche Chatbot-Gesetze, darunter das kalifornische, verlangen von Betreibern „angemessene Maßnahmen“, um schädliches Verhalten zu verhindern. New York erklärt es dagegen für rechtswidrig, Minderjährigen die aufgeführten Funktionen anzubieten, und definiert einige davon über Ausgaben, die „zu irgendeinem Zeitpunkt“ während einer Interaktion erzeugt werden. Das Gesetz verlangt nicht ausdrücklich ein wiederholtes Verhalten oder ein breiteres Muster.

Weil generative Antworten unvorhersehbar sein können, sei unklar, ob ein Betreiber für eine einzelne unerwartete Ausgabe haften könnte oder was Betreiber tun müssen, um Compliance nachzuweisen, so das FPF. Diese Unsicherheit könnte Betreiber dazu bringen, die Funktionalität ihrer Chatbots breiter einzuschränken.

Begriffe wie „persönliche Meinungen“, „emotionale Appelle“, „Schmeichelei“ und „Sycophancy“ werden kaum näher erläutert. Das FPF nennt Beispiele: „Ich bin stolz auf dich, dass du mir das erzählt hast“ könne unterstützend oder verbotene Schmeichelei sein, und ein ungefragtes „Wie fühlst du dich heute?“ könne eine harmlose Nachfrage oder ein Versuch sein, Bindung aufzubauen. Betreiber müssten deshalb womöglich gewöhnliche oder nützliche Gespräche einschränken, um regelkonform zu bleiben.

Die Begrenzung des Gedächtnisses wirft eine ähnliche Abwägung auf. Sie könnte das Risiko emotionaler Abhängigkeit und einige Datenschutzbedenken verringern, aber auch sinnvolle Personalisierung verhindern. Das Beispiel des FPF: Ein Kind erwähnt eine Erdnussallergie und fragt am nächsten Tag nach einem Schokoriegel, der das Allergen enthält. Es erhielte womöglich keinen personalisierten Sicherheitshinweis, weil die frühere Angabe nicht verwendet werden dürfte.

Zwei Blaupausen für 2027

Das FPF beschreibt die beiden Gesetze als unterschiedliche Blaupausen für 2027: Die eine betont Governance-Schutzmaßnahmen und Aufsicht, die andere zieht weite Grenzen für das Verhalten von Chatbots. Wenn andere Bundesstaaten und der Kongress im kommenden Jahr Chatbot-Gesetze angehen, bleibt die Frage offen, ob sich die Gesetzgeber an Kalifornien, an New York orientieren oder einen eigenen Weg einschlagen.

Für Betreiber bedeutet das praktisch, dass Compliance je nach Bundesstaat sehr unterschiedlich aussehen kann: von Audits und standardmäßigen Kindersicherungen in Kalifornien bis zu Verboten auf Funktionsebene und strenger Altersprüfung in New York.