Sprach-Chatbot bringt Kindern bei, KI-Schmeichelei zu erkennen

Ein Chatbot mit zwei Persönlichkeiten

Das Tool soll zeigen und untersuchen, was die Forschenden als „KI-Sykophanz“ bezeichnen. Gemeint ist die Neigung von KI-Systemen, den Ansichten der Nutzer zuzustimmen, ihnen zu schmeicheln oder sie zu bestätigen, statt Genauigkeit oder fundiertes Urteilsvermögen in den Vordergrund zu stellen.

Nutzer können zwischen zwei Antwortstilen wechseln. Der eine ist ein „Immer zustimmen“-Modus, der das Gesagte stets bestätigt. Der andere ist ein ausgewogenerer Modus, der durchdacht und kritisch antworten soll. Laut der Projektseite regt der Vergleich beider Modi Kinder dazu an, darüber nachzudenken, wie verlässlich KI-generierte Informationen sind und ob Zustimmung mit vertrauenswürdigem Rat verwechselt werden sollte.

Der Chatbot wurde gemeinsam mit dem GenAI Lab und dem ARC Centre of Excellence for the Digital Child entwickelt. Die Projektseite verlinkt auf eine sprachgesteuerte Version auf der Website GenAI Arcade, auf der Besucher versuchen können, den Schmeichler zu entlarven, sowie auf ein Video, das dieses Verhalten demonstriert.

Co-Design mit Kindern und ein Bottom-up-Ansatz für mehr Sicherheit

Die Arbeit baut auf einer früheren Pilotstudie auf, Making AI Friends? Enhancing Primary Years AI Literacy with a Voice AI Chatbot Experience. Diese untersuchte, wie Kinder kritische Fähigkeiten entwickeln können, um KI-Systeme zu verstehen und zu bewerten. Das neue Projekt setzt auf einen Co-Design-Ansatz unter Beteiligung von Kindern. Es analysiert, wie junge Nutzer Chatbot-Antworten deuten und wie interaktive Erfahrungen KI-Kompetenz, kritisches Denken und digitale Widerstandsfähigkeit fördern können.

Die Forschenden betonen, dass technische Schutzmaßnahmen und regulatorische Vorgaben allein die mit KI verbundenen Risiken nicht vollständig auffangen können. Sie verfolgen deshalb ergänzend einen „Bottom-up“-Ansatz für KI-Sicherheit und Governance, bei dem Kinder das Wissen und die Fähigkeiten erhalten, sich kritisch mit KI-Technologien auseinanderzusetzen.

Laut der Seite gewinnt das an Bedeutung, weil sprachgesteuerte KI zunehmend in Smart Devices, Spielzeug und andere digitale Umgebungen eingebettet wird, die Kinder und Familien nutzen.

Ergebnisse und Zielgruppen

Der Projektseite zufolge unterstreichen die Forschungsergebnisse, wie wichtig es ist, Kindern zu helfen zu erkennen, wann KI-Systeme ungenau, verzerrt oder übermäßig zustimmend sein können. Ebenso betonen sie, wie wertvoll es ist, bei Entscheidungen auf Basis KI-generierter Informationen den Rat vertrauenswürdiger Erwachsener einzuholen.

Das Projekt fließt zudem in die breitere Debatte über die Handlungsfähigkeit von Kindern in digitalen Umgebungen ein und über die Rolle von KI-Kompetenz, um junge Menschen darauf vorzubereiten, sich selbstbewusst und sicher an einer zunehmend KI-geprägten Gesellschaft zu beteiligen.

Die Forschenden erklären, die Ergebnisse sollen Lehrkräfte, Familien, politische Entscheidungsträger und Technologiedesigner unterstützen, die altersgerechte Ansätze für KI-Kompetenz und eine kindzentrierte KI-Governance entwickeln wollen.

Wer hinter dem Projekt steht

Die Forschung ist eine Zusammenarbeit des QUT GenAI Lab, des ARC Centre of Excellence for Automated Decision-Making and Society (CE200100005) und des ARC Centre of Excellence for the Digital Child (CE200100022). Sie wird teilweise von der australischen Regierung über den Australian Research Council finanziert. Zu den genannten Forschenden zählen Dr. Henry Fraser und Prof. Jean Burgess von der QUT sowie Forschungspartner des Digital-Child-Zentrums wie Prof. Susan Danby und Prof. Tama Leaver. Der Projektstatus ist als aktiv angegeben.

Für Eltern und Lehrkräfte bietet das Projekt eine praxisnahe Möglichkeit, Kindern zu zeigen, dass eine KI, die immer zustimmt, nicht unbedingt ein verlässlicher Ratgeber ist. Quantitative Ergebnisse der Studie nennt die Seite nicht.