OpenAI führt neue Schutzmaßnahmen gegen Gewalt in ChatGPT ein und plant Sicherheitsbericht
OpenAI verschärft den Umgang von ChatGPT mit gewaltbezogenen Anfragen und setzt neue Grenzen bei Inhalten zu früheren Massenangriffen sowie bei Waffeninformationen für Teenager. Zudem kündigt das Unternehmen einen regelmäßigen Community Safety Report an, dessen erste Ausgabe Anfang 2027 erscheinen soll.
- OpenAI veröffentlicht einen Community Safety Report, erstmals Anfang 2027 für das zweite Halbjahr 2026, danach alle sechs Monate.
- Das Unternehmen meldet mehr als 200 Meldungen an Strafverfolgungsbehörden im dritten Quartal 2026.
- ChatGPT liefert für alle Nutzer unabhängig vom Alter weniger detaillierte Antworten zu früheren Massenangriffen.
- ChatGPT kann Chats mit Anzeichen einer Fixierung auf Gewalt automatisch beenden, bei wiederholten Fällen droht eine vorübergehende Kontopause.
- Für Teenager gelten weitere Grenzen bei Informationen zu Waffen und Sicherheitssystemen, Eltern sollen bei Pausen wegen wiederholter Gewaltgespräche benachrichtigt werden.
Regelmäßiger Bericht zur Sicherheit der Gemeinschaft
Laut OpenAI soll der neue Community Safety Report Gewaltprävention und weitere Fragen der Sicherheit von Gemeinschaften behandeln und zeigen, wie wirksam die Schutzmaßnahmen des Unternehmens sind. Er soll erläutern, wie OpenAI seine Systeme trainiert, um solche Probleme zu erkennen, zu untersuchen und darauf zu reagieren. Das Unternehmen kündigt an, anonymisierte Beispiele dafür zu teilen, wie sich gewaltbezogene Schäden äußern, neue Gegenmaßnahmen und Richtlinienänderungen hervorzuheben und einschlägige Daten aufzunehmen.
Der erste Bericht ist für Anfang 2027 geplant und soll das zweite Halbjahr 2026 abdecken. Aktualisierungen sollen danach alle sechs Monate folgen. OpenAI teilte zudem mit, im dritten Quartal 2026 mehr als 200 Meldungen an Strafverfolgungsbehörden wegen unmittelbar drohender Gewalt gemacht zu haben und sich bei der Beurteilung schwieriger Fälle auf Fachleute für psychische Gesundheit und Verhalten zu stützen.
Engere Grenzen für alle Nutzer
Nach Angaben von OpenAI sind die Modelle bereits darauf trainiert, keine Anleitungen zu geben, die bei der Planung oder Ausführung von Gewalt helfen würden. Nun kommen Einschränkungen dafür hinzu, wie ChatGPT Fragen zu früheren Massenangriffen und zu den Tätern beantwortet. Das Modell soll in diesen Bereichen weniger detaillierte Informationen liefern, selbst wenn sie anderswo im Netz verfügbar sind.
Nutzer sollen ChatGPT laut Unternehmen weiterhin bitten können, solche Ereignisse zu verstehen, die Folgen für Opfer und Gemeinschaften nachzuvollziehen und Warnzeichen zu erkennen. Die Einschränkungen zielen auf Rekonstruktionen früherer Angriffe, darunter Details zu Waffen und Ausrüstung und deren Beschaffung, sowie auf detaillierte Vergleiche des Ausmaßes von Schäden, die die Bekanntheit eines Täters steigern könnten. Laut OpenAI gelten diese Grenzen unabhängig vom Alter der Nutzer oder dem Grund ihrer Anfrage.
OpenAI baut zudem auf einem Update vom Mai auf, bei dem ChatGPT kurze, sachliche Zusammenfassungen früherer Warnzeichen nutzte, um in späteren Chats vorsichtiger zu reagieren. Zeigen aktuelle Chats Anzeichen möglicher Gewalt, antwortet ChatGPT zurückhaltender, wenn es um Informationen geht, die missbraucht werden könnten. Das Unternehmen arbeitet daran, diese strengeren Grenzen auch dann anzuwenden, wenn es vermutet, dass jemand unter 18 ist, selbst ohne Anzeichen von Gewaltabsicht.
Gemeinsam mit Fachleuten für psychische Gesundheit und Gewaltprävention arbeitet OpenAI außerdem an automatisierten Interventionen. Zeigt ein Gespräch Anzeichen dafür, dass sich jemand auf Gewalt oder auf die schwere Schädigung einer anderen Person fixiert, kann ChatGPT den Chat künftig automatisch beenden. Werden aus diesem Grund mehrere Chats beendet, kann das Konto vorübergehend pausiert werden. Konten, die gegen die Gewaltrichtlinien verstoßen, werden gesperrt.
Mehr Schutz für Teenager
ChatGPT for Teens wendet altersgerechte Schutzmaßnahmen für Nutzer unter 18 an. OpenAI führt neue Grenzen für waffenbezogene Informationen ein, die Teenager erhalten können, auch wenn eine Frage harmlos erscheint. Laut Unternehmen werden bestehende Einschränkungen auf praktische Informationen zu Waffen und Sicherheitssystemen ausgeweitet, die missbraucht werden könnten, um Gewalt zu ermöglichen, selbst wenn es keine Anzeichen für Gewaltabsicht gibt. Teenager können ChatGPT weiterhin nutzen, um Gewalt vorzubeugen und zu deeskalieren, Unterstützung zu suchen und Kontakt zu einer Vertrauensperson aufzunehmen.
Die im vergangenen Jahr eingeführte Altersvorhersage schätzt anhand von Signalen wie Verhaltensmustern, ob ein Nutzer unter oder über 18 Jahre alt sein könnte. OpenAI zufolge wurde das System verbessert, sodass es neue Signale laufend auswertet und Teenager bei Bedarf in die Erfahrung für unter 18-Jährige überführt. Wer dort fälschlicherweise eingestuft wurde, kann sein Erwachsensein über Persona, den Partner von OpenAI für die Altersverifizierung, bestätigen, in einem Verfahren, das das Unternehmen als schnell und datenschutzfreundlich beschreibt.
Mit der Kindersicherung können Eltern ihr Konto mit dem ihrer Kinder verknüpfen und Sicherheitseinstellungen verwalten. Verknüpfte Konten können Sicherheitswarnungen erhalten, wenn speziell geschulte Prüfer ein ernstes Selbstverletzungsrisiko oder Verhaltensweisen erkennen, die mit Essstörungen zusammenhängen könnten. Im Juli wurden diese Warnungen erweitert: Eltern werden nun benachrichtigt, wenn das Konto eines Teenagers wegen Verstößen gegen gewaltbezogene Nutzungsrichtlinien deaktiviert wurde. OpenAI arbeitet nach eigenen Angaben an Benachrichtigungen für Eltern, wenn das Konto eines Teenagers pausiert wird, weil wiederholt über Gewalt gesprochen wurde.
Wie es weitergeht
OpenAI zufolge sollen die beschriebenen Schutzmaßnahmen in den kommenden Wochen schrittweise eingeführt und weiter verfeinert werden. Das Unternehmen bezeichnet die Arbeit als fortlaufend und verweist darauf, dass das zuverlässige Erkennen von Warnzeichen und die Entscheidung, wann und wie eingegriffen wird, weiterhin offene Herausforderungen sind. Für Nutzer bedeuten die Änderungen in der Praxis zurückhaltendere Antworten bei gewaltbezogenen Themen, die Möglichkeit beendeter Chats oder pausierter Konten bei Fixierung auf Gewalt und strengere waffenbezogene Grenzen für Teenager. Der geplante Bericht soll zeigen, wie gut diese Maßnahmen wirken.
OpenAI: Community safety report and new protections for teens
