Partnership on AI gründet Arbeitsgruppe zu Chatbots und Suizidrisiko

Eine Lücke bei den Standards für Chatbot-Antworten

Laut PAI wenden sich inzwischen Millionen Menschen an KI-Chatbots, um Informationen, Gesellschaft und Unterstützung zu finden, auch in ihren verletzlichsten Momenten. Wie diese Systeme reagieren, wenn jemand möglicherweise suizidgefährdet ist oder sich selbst verletzen könnte, werde jedoch von keinem gemeinsamen Standard, keinem klinischen Protokoll und keiner regulatorischen Vorgabe geleitet, so die Organisation.

PAI kündigte die Arbeitsgruppe im Vorfeld des Welttags der psychischen Gesundheit am 10. Oktober an. Die Gruppe soll öffentliche Leitlinien entwickeln und im Zeitverlauf über ihre Fortschritte berichten.

„Die Menschen bringen ihre schwersten Momente zu KI-Systemen, und die Branche muss definieren, wie eine evidenzbasierte Antwort aussieht“, sagte Rebecca Finlay, CEO von Partnership on AI. PAI werde dafür mit Klinikern, Forschenden und Krisenberatern zusammenarbeiten, gemeinsam mit den Entwicklern, die diese Systeme bauen.

Erstes Projekt und weiter gefasstes Mandat

Das erste Projekt der Gruppe sind Leitlinien dazu, wie universell einsetzbare KI-Chatbots auf Menschen reagieren sollten, bei denen ein Risiko für Suizid oder Selbstverletzung bestehen könnte. PAI plant, im Laufe des Jahres einen Entwurf zur öffentlichen Kommentierung vorzulegen. Danach sollen endgültige Leitlinien folgen, die Organisationen formell übernehmen können.

PAI zufolge ist Suizidprävention ein Thema mit hohem Konsens, und die daraus entstehenden Leitlinien könnten künftig als Vorbild für Fragen dienen, bei denen die Positionen weiter auseinanderliegen. Als Beispiele nennt die Organisation die emotionale Abhängigkeit von KI und die Grenze zwischen Unterstützung und Anbiederung (Sycophancy).

Über die Leitlinien hinaus soll die Arbeitsgruppe:

• die bestehende Landschaft an Evaluierungen kartieren
• gemeinsame Definitionen entwickeln, um zu messen, was für das menschliche Wohlbefinden zählt
• zentrale Lücken benennen, die geschlossen werden müssen
• offene Forschungsfragen sichtbar machen und helfen, Fördermittel mit den Vorhaben zu verknüpfen, die sie am besten beantworten können
• einen fortlaufenden Prozess etablieren, um Fortschritte über die Zeit zu messen
• dazu beitragen, eine dauerhafte Praxis der Zusammenarbeit zwischen KI- und Fachleuten für psychische Gesundheit aufzubauen

Wer beteiligt ist und wie die Arbeit finanziert wird

Der Gruppe gehören KI-Praktiker, führende Organisationen für psychische Gesundheit und Suizidprävention, Krisendienste, Kliniker, Wissenschaftler sowie Menschen mit eigener Erfahrung mit psychischen Belastungen an. Sie stützt sich auf PAIs Netzwerk von mehr als 150 Partnern, darunter eine wachsende Zahl von Organisationen aus dem Bereich der psychischen Gesundheit. Gearbeitet wird nach PAIs bewährtem Verfahren aus strukturierter Beratung, Experteneinbindung und öffentlicher Konsultation.

Die American Foundation for Suicide Prevention gehört zu den Teilnehmern. Ihre Chief Medical Officer, Christine Moutier, M.D., sagte, die Organisation stelle „die Notwendigkeit eines tieferen Verständnisses und einer stärkeren Unterstützung von KI in Bildung, Forschung und Engagement zu psychischer Gesundheit und Suizidprävention“ in den Vordergrund.

Die Arbeit wird durch eine Förderung der OpenAI Foundation unterstützt. PAI bezeichnet sich selbst als unabhängige Non-Profit-Organisation, die von einem breiten Spektrum philanthropischer und institutioneller Geldgeber getragen wird. Ihre Leitlinien entstünden durch Beratung, öffentliche Beteiligung und Prüfung durch Partner aus Zivilgesellschaft, Industrie, Wissenschaft und anderen Bereichen.

Was das für die Branche bedeutet

Die Initiative ist das erste große Vorhaben im Rahmen von AI, Human Connection, and Well-Being, einem zentralen Schwerpunkt im Strategieplan 2027, 2031 von PAI. Finlay sagte, die neue Strategie stelle PAIs Gewicht hinter „praktische Standards, die die Branche übernehmen und an denen sie sich messen lassen kann“.

Für Chatbot-Entwickler ist das angestrebte Ergebnis eine öffentliche, formell übernehmbare Referenz für den Umgang mit Gesprächen, in denen es um Suizid- und Selbstverletzungsrisiken geht, geprägt von Fachleuten für psychische Gesundheit. Der Entwurf soll im Laufe des Jahres zur öffentlichen Kommentierung vorgelegt werden, die Details der Empfehlungen sind daher noch nicht bekannt.

PAIs Ankündigung nennt zudem Hilfsangebote: In den USA können Betroffene die 988 anrufen oder per SMS erreichen, um die 988 Suicide and Crisis Lifeline zu kontaktieren, oder HELLO per SMS an 741741 senden, um die Crisis Text Line zu erreichen. Außerhalb der USA rät PAI, sich an den örtlichen Notruf oder eine lokale Krisenhotline zu wenden.