Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

OpenAI führt neue Schutzmaßnahmen gegen Gewalt in ChatGPT ein und plant Sicherheitsbericht

30. Oktober 2026, 10:00Von der KI Nachrichten RedaktionQuelle: OpenAI

OpenAI verschärft den Umgang von ChatGPT mit gewaltbezogenen Anfragen und setzt neue Grenzen bei Inhalten zu früheren Massenangriffen sowie bei Waffeninformationen für Teenager. Zudem kündigt das Unternehmen einen regelmäßigen Community Safety Report an, dessen erste Ausgabe Anfang 2027 erscheinen soll.

Das Wichtigste in Kürze
  • OpenAI veröffentlicht einen Community Safety Report, erstmals Anfang 2027 für das zweite Halbjahr 2026, danach alle sechs Monate.
  • Das Unternehmen meldet mehr als 200 Meldungen an Strafverfolgungsbehörden im dritten Quartal 2026.
  • ChatGPT liefert für alle Nutzer unabhängig vom Alter weniger detaillierte Antworten zu früheren Massenangriffen.
  • ChatGPT kann Chats mit Anzeichen einer Fixierung auf Gewalt automatisch beenden, bei wiederholten Fällen droht eine vorübergehende Kontopause.
  • Für Teenager gelten weitere Grenzen bei Informationen zu Waffen und Sicherheitssystemen, Eltern sollen bei Pausen wegen wiederholter Gewaltgespräche benachrichtigt werden.

Regelmäßiger Bericht zur Sicherheit der Gemeinschaft

Laut OpenAI soll der neue Community Safety Report Gewaltprävention und weitere Fragen der Sicherheit von Gemeinschaften behandeln und zeigen, wie wirksam die Schutzmaßnahmen des Unternehmens sind. Er soll erläutern, wie OpenAI seine Systeme trainiert, um solche Probleme zu erkennen, zu untersuchen und darauf zu reagieren. Das Unternehmen kündigt an, anonymisierte Beispiele dafür zu teilen, wie sich gewaltbezogene Schäden äußern, neue Gegenmaßnahmen und Richtlinienänderungen hervorzuheben und einschlägige Daten aufzunehmen.

Der erste Bericht ist für Anfang 2027 geplant und soll das zweite Halbjahr 2026 abdecken. Aktualisierungen sollen danach alle sechs Monate folgen. OpenAI teilte zudem mit, im dritten Quartal 2026 mehr als 200 Meldungen an Strafverfolgungsbehörden wegen unmittelbar drohender Gewalt gemacht zu haben und sich bei der Beurteilung schwieriger Fälle auf Fachleute für psychische Gesundheit und Verhalten zu stützen.

Engere Grenzen für alle Nutzer

Nach Angaben von OpenAI sind die Modelle bereits darauf trainiert, keine Anleitungen zu geben, die bei der Planung oder Ausführung von Gewalt helfen würden. Nun kommen Einschränkungen dafür hinzu, wie ChatGPT Fragen zu früheren Massenangriffen und zu den Tätern beantwortet. Das Modell soll in diesen Bereichen weniger detaillierte Informationen liefern, selbst wenn sie anderswo im Netz verfügbar sind.

Nutzer sollen ChatGPT laut Unternehmen weiterhin bitten können, solche Ereignisse zu verstehen, die Folgen für Opfer und Gemeinschaften nachzuvollziehen und Warnzeichen zu erkennen. Die Einschränkungen zielen auf Rekonstruktionen früherer Angriffe, darunter Details zu Waffen und Ausrüstung und deren Beschaffung, sowie auf detaillierte Vergleiche des Ausmaßes von Schäden, die die Bekanntheit eines Täters steigern könnten. Laut OpenAI gelten diese Grenzen unabhängig vom Alter der Nutzer oder dem Grund ihrer Anfrage.

OpenAI baut zudem auf einem Update vom Mai auf, bei dem ChatGPT kurze, sachliche Zusammenfassungen früherer Warnzeichen nutzte, um in späteren Chats vorsichtiger zu reagieren. Zeigen aktuelle Chats Anzeichen möglicher Gewalt, antwortet ChatGPT zurückhaltender, wenn es um Informationen geht, die missbraucht werden könnten. Das Unternehmen arbeitet daran, diese strengeren Grenzen auch dann anzuwenden, wenn es vermutet, dass jemand unter 18 ist, selbst ohne Anzeichen von Gewaltabsicht.

Gemeinsam mit Fachleuten für psychische Gesundheit und Gewaltprävention arbeitet OpenAI außerdem an automatisierten Interventionen. Zeigt ein Gespräch Anzeichen dafür, dass sich jemand auf Gewalt oder auf die schwere Schädigung einer anderen Person fixiert, kann ChatGPT den Chat künftig automatisch beenden. Werden aus diesem Grund mehrere Chats beendet, kann das Konto vorübergehend pausiert werden. Konten, die gegen die Gewaltrichtlinien verstoßen, werden gesperrt.

Mehr Schutz für Teenager

ChatGPT for Teens wendet altersgerechte Schutzmaßnahmen für Nutzer unter 18 an. OpenAI führt neue Grenzen für waffenbezogene Informationen ein, die Teenager erhalten können, auch wenn eine Frage harmlos erscheint. Laut Unternehmen werden bestehende Einschränkungen auf praktische Informationen zu Waffen und Sicherheitssystemen ausgeweitet, die missbraucht werden könnten, um Gewalt zu ermöglichen, selbst wenn es keine Anzeichen für Gewaltabsicht gibt. Teenager können ChatGPT weiterhin nutzen, um Gewalt vorzubeugen und zu deeskalieren, Unterstützung zu suchen und Kontakt zu einer Vertrauensperson aufzunehmen.

Die im vergangenen Jahr eingeführte Altersvorhersage schätzt anhand von Signalen wie Verhaltensmustern, ob ein Nutzer unter oder über 18 Jahre alt sein könnte. OpenAI zufolge wurde das System verbessert, sodass es neue Signale laufend auswertet und Teenager bei Bedarf in die Erfahrung für unter 18-Jährige überführt. Wer dort fälschlicherweise eingestuft wurde, kann sein Erwachsensein über Persona, den Partner von OpenAI für die Altersverifizierung, bestätigen, in einem Verfahren, das das Unternehmen als schnell und datenschutzfreundlich beschreibt.

Mit der Kindersicherung können Eltern ihr Konto mit dem ihrer Kinder verknüpfen und Sicherheitseinstellungen verwalten. Verknüpfte Konten können Sicherheitswarnungen erhalten, wenn speziell geschulte Prüfer ein ernstes Selbstverletzungsrisiko oder Verhaltensweisen erkennen, die mit Essstörungen zusammenhängen könnten. Im Juli wurden diese Warnungen erweitert: Eltern werden nun benachrichtigt, wenn das Konto eines Teenagers wegen Verstößen gegen gewaltbezogene Nutzungsrichtlinien deaktiviert wurde. OpenAI arbeitet nach eigenen Angaben an Benachrichtigungen für Eltern, wenn das Konto eines Teenagers pausiert wird, weil wiederholt über Gewalt gesprochen wurde.

Wie es weitergeht

OpenAI zufolge sollen die beschriebenen Schutzmaßnahmen in den kommenden Wochen schrittweise eingeführt und weiter verfeinert werden. Das Unternehmen bezeichnet die Arbeit als fortlaufend und verweist darauf, dass das zuverlässige Erkennen von Warnzeichen und die Entscheidung, wann und wie eingegriffen wird, weiterhin offene Herausforderungen sind. Für Nutzer bedeuten die Änderungen in der Praxis zurückhaltendere Antworten bei gewaltbezogenen Themen, die Möglichkeit beendeter Chats oder pausierter Konten bei Fixierung auf Gewalt und strengere waffenbezogene Grenzen für Teenager. Der geplante Bericht soll zeigen, wie gut diese Maßnahmen wirken.

Ähnliche Meldungen

Princeton-Studie: ChatGPTs Antworten zu Wahlen variieren je nach Nutzer
Forschung18. November 2026, 17:09

Princeton-Studie: ChatGPTs Antworten zu Wahlen variieren je nach Nutzer

Die Speichereinstellungen von ChatGPT können die parteipolitische Tendenz wahlbezogener Antworten verändern. Das zeigt eine vorläufige Princeton-Feldstudie mit 160…

Wirtschaft
Wirtschaft18. November 2026

OpenAI weist Zukunft zurück, in der Menschen die Kontrolle an KI verlieren

Ein von OpenAI veröffentlichter Essay weist die Vorstellung zurück, dass Menschen ihre führende Rolle in der Weltpolitik und Weltwirtschaft zwangsläufig an immer…

Sicherheit und Ethik
Sicherheit und Ethik12. November 2026

OpenAI investiert 2 Millionen US-Dollar in Forschung zur KI-Sicherheit für Kinder

OpenAI hat die Charter of Engagement for Safer AI for Children unterzeichnet und 2 Millionen US-Dollar für ein wissenschaftliches Forschungsnetzwerk zugesagt, das sich…