OpenAI veröffentlicht CSAM-Erkennungstool und neue ChatGPT-Sicherheitsmaßnahmen
OpenAI veröffentlicht einen Bildklassifizierer, der potenzielles Material zum sexuellen Missbrauch von Kindern erkennen soll, darunter auch KI-generierte Inhalte. Gleichzeitig führt das Unternehmen neue Maßnahmen in ChatGPT für Nutzer ein, die nach Missbrauchsmaterial suchen. Die Maßnahmen sollen Organisationen dabei helfen, Missbrauch zu erkennen, schädliches Verhalten zu unterbrechen und die Zusammenarbeit im Bereich des Kinderschutzes zu stärken.
- OpenAI stellt geprüften Organisationen seinen neuen CSAM-Bildklassifizierer kostenlos zur Verfügung.
- Der Klassifizierer enthält ein Signal für möglicherweise KI-generiertes CSAM.
- OpenAI schätzt, dass das Tool den Prüfaufwand für markierte Bilder um 48% senken könnte.
- ChatGPT entfernt markierte Gespräche und pausiert den Zugang für 24 Stunden nach bestimmten Anfragen.
- OpenAI hat praktische CSAM-Sicherheitshinweise für Entwickler veröffentlicht.
Klassifizierer für potenzielles CSAM
Der neue Bildklassifizierer sucht nach visuellen Anzeichen von Missbrauch und gibt Bewertungen aus. Diese sollen Prüfern helfen zu entscheiden, welche Bilder zuerst untersucht werden müssen. Laut OpenAI ist er der erste breit verfügbare CSAM-Klassifizierer mit einem spezifischen Signal dafür, ob Material möglicherweise von einer KI erzeugt wurde.
Das Unternehmen bietet geprüften Organisationen über die OpenAI API kostenlosen Zugang an. Dazu gehören Kinderschutzgruppen und andere Teams aus der Branche unterschiedlicher Größe. OpenAI entwickelte den Klassifizierer mit Unterstützung des National Center for Missing and Exploited Children, das die CyberTipline betreibt, eine zentrale Meldestelle für die Online-Ausbeutung von Kindern.
OpenAI erklärt, auch mit der Tech Coalition und ROOST zusammengearbeitet zu haben, um den Zugang zu dem Tool zu teilen. Gleichzeitig unterstützt das Unternehmen andere Systeme wie Thorn’s Safer CSAM detection service. Vor Kurzem begann OpenAI zudem mit der Teilnahme am Lantern-Programm der Tech Coalition. Dessen Teilnehmer teilen und empfangen Signale im Zusammenhang mit der Online-Ausbeutung und dem sexuellen Missbrauch von Kindern.
Erste Tests deuten auf weniger Prüfaufwand hin
In einer Untersuchung von Bildern, die Nutzer hochgeladen hatten, verglich OpenAI den Klassifizierer mit seinen bisherigen Schutzmaßnahmen. Das Unternehmen schätzt, dass das neue System 48% weniger Bilder markieren könnte und dabei ungefähr genauso viele Missbrauchsdarstellungen erkennt wie das bisherige Tool. Laut OpenAI war es bei den vom neuen Klassifizierer markierten Bildern etwa doppelt so wahrscheinlich, dass sie Missbrauch enthielten.
Frühe Partner meldeten weitere Ergebnisse. Bei Tests von fal mit von Menschen geprüften Bildern aus dem Produktivbetrieb bestätigten Prüfer 72% der Markierungen mit hoher Konfidenz als neuartiges CSAM. Invideo AI berichtete, dass einer von vier markierten Fällen zu einer Sperre führte. Bei Untersuchungen von SafetyKit zu Zeichnungen oder Animationen, die Kinder sexualisieren, erkannte der Klassifizierer 90% der Fälle.
OpenAI zufolge testeten die eigenen Teams das System intern und mit frühen Partnern, um Erkennung, falsch-positive Ergebnisse und mögliche Einsatzbereiche für Sicherheitsteams zu bewerten. Das Unternehmen will den Klassifizierer mithilfe des Feedbacks von Organisationen, die ihn einsetzen, weiter verbessern.
ChatGPT-Warnungen unterbrechen schädliche Anfragen
OpenAI erklärt, dass ChatGPT CSAM bereits verbietet, seine Modelle darauf trainiert, entsprechende Anfragen abzulehnen, und Maßnahmen gegen Konten ergreift, die gegen die Richtlinien verstoßen. Die neuen Produktwarnungen ergänzen eine Intervention bei Versuchen, Missbrauchsmaterial zu finden.
Die Warnung erklärt, dass die Sexualisierung von Kindern schädlich ist, auch wenn das angeforderte Material von einer KI erzeugt wurde. OpenAI zufolge wird das markierte Gespräch entfernt und der Zugang zu ChatGPT für 24 Stunden pausiert. Spezialisierte Unterstützung bleibt verfügbar, um Betroffenen zu helfen, schädliches Verhalten zu beenden. Wiederholte Verstöße können zu längeren Einschränkungen, einer Kontoschließung oder Meldungen an Behörden führen.
Der Ansatz wurde mit Beiträgen von Protect Children, der Lucy Faithfull Foundation, Dr. Caoilte Ó Ciardha von der University of Kent und Joel Scanlan von der University of Tasmania entwickelt. Scanlan bewertete unabhängig einen Test der abschreckenden Nachrichten.
Leitfaden für Entwickler und Sicherheitsteams
OpenAI hat außerdem einen CSAM-Leitfaden für Entwickler veröffentlicht. Er behandelt Möglichkeiten, Missbrauch zu verhindern, schädliche Inhalte zu erkennen, auf Meldungen von Nutzern zu reagieren, vermuteten Missbrauch zu prüfen und ihn zu melden. Der Leitfaden erklärt zudem, wie Sicherheitskennungen den Missbrauch einzelnen Nutzern zuordnen können und wie Organisationen Menschen unterstützen können, die sensibles Material prüfen.
Entwickler können den Leitfaden zusammen mit OpenAI’s image classifier und der Moderation API sowie ROOST’s selbst gehosteter Prüfkonsole Coop und Thorn’s Safer service verwenden. Laut OpenAI wurde der Leitfaden mit Beiträgen der Tech Coalition, von Thorn, des National Center for Missing and Exploited Children und der Internet Watch Foundation entwickelt.
Das Unternehmen arbeitet außerdem mit Anthropic und Google daran, einen Leitfaden zum Umgang mit Meldungen über die sexuelle Ausbeutung und den sexuellen Missbrauch von Kindern in KI-Systemen in Auftrag zu geben. Der von der Tech Coalition veröffentlichte Leitfaden enthält Empfehlungen für Entwickler, die mit solchen Situationen umgehen. OpenAI zufolge hat das Unternehmen bereits zu einem besseren Zugang von Entwicklern zu Kinderschutz-Tools und zur Registrierung für die Meldung von CSAM an NCMEC beigetragen.


