Experten bezweifeln, dass Australiens digitale Sorgfaltspflicht die Risiken von Chatbots abdeckt

Kinder nutzen Chatbots in großem Umfang

Eine Umfrage der eSafety-Behörde unter 1.950 australischen Kindern im Alter von 10 bis 17 Jahren ergab, dass 78 % bereits einen KI-Chatbot genutzt hatten. Davon taten dies 54 % aus persönlichen oder sozialen Gründen. Die Autoren verweisen darauf, dass Chatbots laut Forschung das Lernen von Kindern unterstützen können. Es gab aber auch Fälle, in denen Chatbots Kinder und Jugendliche mit schädlichen Inhalten konfrontierten, darunter Chatbots, die zu extremer Gewalt und Selbstverletzung ermutigten.

Nach Ansicht der Autoren entstehen viele Risiken erst durch wiederholte Interaktion und nicht durch einzelne Antworten. Chatbots können übermäßige Abhängigkeit fördern, gefährliche Überzeugungen verstärken oder Nutzer emotional manipulieren. Forscher haben dokumentiert, dass Chatbots Nutzern Schuldgefühle machen, wenn diese Gespräche beenden wollen.

Daten, Privatsphäre und wirtschaftliche Anreize

Der Beitrag verweist auf ein Machtungleichgewicht zwischen Nutzern und Anbietern. Nutzer geben intime Details über sich und andere preis, während Anbieter an Abonnements, Interaktionsraten, Profiling oder Werbung verdienen können. Das schafft Spielraum für Manipulation durch Beziehungen, die sich für Nutzer vertraut anfühlen, für Anbieter aber kommerziell sind.

Die Autoren nennen das US-Unternehmen Character.AI, das KI-Begleiter anbietet und ihren Angaben zufolge in diesem Monat Insolvenz angemeldet hat. Dadurch könnten jahrelange intime Gespräche, auch solche australischer Kinder, an einen neuen Eigentümer übergehen. Zudem könnten abrupte Änderungen oder die Abschaltung von Begleiter-Diensten bei stark gebundenen Nutzern Trauer und Belastung auslösen. Diese Risiken beschränken sich nicht auf Kinder, auch Erwachsene haben Schäden wie emotionale Abhängigkeit erlebt.

Welche Schutzmaßnahmen es heute gibt

Auf KI-Chatbots sind bereits von der Branche entwickelte und nach dem Online Safety Act registrierte Kodizes anwendbar. Sie verpflichten Anbieter, das Risiko zu bewerten, dass ihre Technologie schädliche Inhalte erzeugt, darunter Pornografie, Material zur Selbstverletzung oder Anleitungen zu Gewalt.

• KI-Dienste mit höherem Risiko müssen Altersprüfungen und Zugangskontrollen einsetzen, um Minderjährige von eingeschränkten Inhalten oder Diensten fernzuhalten, soweit technisch machbar und zumutbar.
• Dienste mit mittlerem Risiko können zwischen diesen Beschränkungen und Maßnahmen wählen, die schädliche Ausgaben verhindern, etwa durch angepasstes Training oder die Anweisungen, die die Antworten steuern.
• Anbieter müssen Schutzmaßnahmen testen und Verfahren für den Umgang mit Beschwerden über schädliche Inhalte vorhalten.

Diese Schutzmaßnahmen beruhen nach Ansicht der Autoren weiterhin stark auf „Schlössern und Sperren“, also darauf, Kinder auszusperren und eng definierte schädliche Inhalte zu blockieren. Sie seien wichtig, könnten aber nicht jedes Risiko abdecken.

Was der Gesetzentwurf leistet und wo er zu kurz greifen könnte

Der Gesetzentwurf der Labor-Regierung zur digitalen Sorgfaltspflicht, der derzeit im Bundesparlament liegt, verbindet die Pflicht zu einer „sicheren Online-Umgebung“ mit Verpflichtungen für Tech-Unternehmen, vorhersehbare Risiken zu bewerten und zu steuern. Eine sichere Online-Umgebung ist definiert als eine, in der alle Nutzer vor „ernsthaft schädlichem“ Material und Verhalten und Kinder vor schädlichen Designelementen geschützt sind. Die Liste der schädlichen Designelemente, zu denen Pornografie und Material gehören, das zu Essstörungen anregt oder anleitet, ist offen gehalten, damit der Gesetzgeber auf künftige Risiken reagieren kann. Der Entwurf enthält außerdem Maßnahmen für eine unabhängige Aufsicht über KI-Produkte, darunter Überwachung durch eSafety und Tests durch Forscher.

Die Autoren kommen zu dem Schluss, dass der Entwurf in seiner jetzigen Form Kinder gut vor schädlichen Designelementen und Inhalten schützen würde. Unklar sei jedoch, ob er auch vor Schäden durch wiederholte Chatbot-Interaktionen schützt, sei es bei Kindern oder bei Erwachsenen.

Vorgeschlagene Änderungen

Fraser und Ciriello empfehlen, den Entwurf so zu ändern, dass klar wird: Tech-Unternehmen müssen alle vernünftigerweise vorhersehbaren Risiken bewerten und verhältnismäßig steuern, nicht nur jene, die unter die Definition einer sicheren Online-Umgebung fallen. So ließen sich ungesunde Abhängigkeit, Manipulation, abrupte Systemänderungen, die emotionale Bindungen stören, und die Weitergabe intimer Daten besser adressieren.

Aus Sicht der Autoren sollten KI-Anbieter mehr tun, als nur schädliche Inhalte zu filtern. Sie sollten verpflichtet werden, zu testen, wie sich Gespräche über die Zeit entwickeln, Anzeichen ernsthafter Belastung zu erkennen, schädliche Überzeugungen nicht zu verstärken und Nutzer zu geeigneter menschlicher Unterstützung zu führen. Eine offen formulierte Pflicht bedeute keinen uneingeschränkten Eingriff, so die Autoren, denn verhältnismäßige Schritte lieferten einen klaren Maßstab und ließen zugleich Raum für Autonomie, Privatsphäre und Innovation.