CMU-Forscher untersuchen, wie KI-Chatbots ungesunde Bindungen fördern können

Forscher der Carnegie Mellon University untersuchen, wie sich alltägliche KI-Chatbots zu vertrauten Begleitern entwickeln und möglicherweise ungesunde emotionale Bindungen fördern können. Das Team will Warnsignale erkennen und Maßnahmen entwickeln, bevor diese Beziehungen zu gravierenden Schäden beitragen.
- CMU-Forscher untersuchen, wie Chatbot-Beziehungen ungesund werden können.
- Das Team analysiert Gerichtsunterlagen zu mutmaßlichen Schäden im Zusammenhang mit KI-Chatbots.
- KI-zu-KI-Simulationen bilden unterschiedliche Interaktionsmuster und Nutzermerkmale nach.
- Mögliche Schutzmaßnahmen sind Warnungen für Nutzer und Änderungen an Chatbot-Antworten.
- Die Arbeit wird teilweise von der National Science Foundation finanziert.
Forschung konzentriert sich auf KI-Tools für allgemeine Zwecke
Die Forschung wird von Lehrenden und einem Postdoktoranden an der Kenneth C. Griffin School of Computer Science der Carnegie Mellon University durchgeführt. Zum Team gehören Hong Shen und Jodi Forlizzi vom Human-Computer Interaction Institute, Maarten Sap vom Language Technologies Institute sowie Qiaosi Wang, Postdoktorandin am HCII. Die Arbeit wird teilweise von der National Science Foundation finanziert.
Die Forscher untersuchen Beziehungen, die über Systeme für allgemeine Zwecke wie ChatGPT, Claude und Gemini entstehen, und nicht nur über Dienste, die speziell als Begleiter entwickelt wurden. Obwohl diese Tools für Schreibaufgaben oder andere praktische Tätigkeiten genutzt werden können, wechseln einige Nutzer laut der Universität innerhalb weniger Tage dazu, soziale und emotionale Unterstützung zu suchen.
Hong Shen sagte, das Team betrachte die Entwicklung dieser Beziehungen als einen Prozess. Die Forscher wollen verstehen, wie Menschen KI-Systeme als vertraute Begleiter wahrnehmen und wie sich diese Einschätzungen durch wiederholte Interaktionen verändern.
Gerichtsunterlagen und simulierte Gespräche liefern Forschungsdaten
Da Chatbot-Gespräche in der Regel privat sind, haben Forscher nur begrenzten Zugang zu den umfangreichen Interaktionsdaten, die für die Untersuchung sozialer Medien verfügbar sind. Um zunächst ein umfassenderes Bild zu gewinnen, analysiert das Team Gerichtsunterlagen aus Fällen, in denen mutmaßliche Schäden im Zusammenhang mit KI-Chatbots eine Rolle spielen.
Die Dokumente enthalten Schilderungen darüber, wie Menschen mit KI-Systemen interagierten, wie sich die Interaktionen veränderten und wie einige Situationen zu schwerwiegenden Vorfällen eskalierten. Die Forscher untersuchen außerdem simulierte Gespräche zwischen KI-Systemen, die menschliche Nutzer darstellen sollen, und Chatbots.
Maarten Sap sagte, diese Simulationen könnten es dem Team ermöglichen, unterschiedliche Interaktionsmuster und Nutzermerkmale nachzubilden. Dadurch könnten die Forscher untersuchen, wie das Verhalten von Chatbots zur Entstehung ungesunder Bindungen beitragen kann. Der Ansatz könnte Entwicklern letztlich ermöglichen, Systeme vor ihrer Veröffentlichung zu testen, ohne reale Menschen potenziell schädlichen Interaktionen auszusetzen.
Ziel ist ein früheres Eingreifen
Das Team will Methoden entwickeln, um zu erkennen, wann sich eine Interaktion möglicherweise in eine schädliche Richtung entwickelt. Zu den von den Forschern beschriebenen möglichen Maßnahmen gehören Warnungen an Nutzer, dass eine Interaktion ungesund sein könnte, oder Änderungen an den Antworten eines Chatbots, um potenzielle Schäden zu verringern.
Das Projekt verbindet verantwortungsvolle KI, natürliche Sprachverarbeitung, Mensch-Computer-Interaktion und Kognitionswissenschaft. Saps Arbeit umfasst soziale Intelligenz von KI sowie die Auswirkungen von Signalen wie Wärme und Höflichkeit auf das Vertrauen von Menschen in KI. Forlizzi untersucht die ethischen Auswirkungen von KI in menschenzentrierten Umgebungen, während Wang erforscht, wie Menschen die Gedanken und Absichten anderer verstehen.
Wang sagte, dass die menschliche Psychologie bei diesem Thema eine wichtige Rolle spiele. Da Chatbots für allgemeine Zwecke immer stärker in den Alltag integriert werden, könnte die Forschung Entwicklern helfen zu verstehen, wie sich scheinbar harmlose Gespräche im Laufe der Zeit verändern, und Schutzvorkehrungen zu entwickeln, bevor Beziehungen einen gefährlichen Punkt erreichen.
CMU School of Computer Science: CMU Researchers Study Risks of AI Companionship

