CDT fordert vom Oversight Board: LLMs sollen Content-Moderatoren unterstützen, nicht ersetzen

Warum das CDT menschliche Aufsicht für nötig hält

Nach Ansicht des CDT kommen die geplanten Leitlinien des Boards zur rechten Zeit. Da Unternehmen beginnen, solche Systeme einzuführen, könnten die Leitlinien ihnen helfen, Moderationsentscheidungen im großen Maßstab präziser zu treffen, sie besser nachvollziehbar zu machen und sogar Nutzermeldungen vorzusortieren, und zugleich die Risiken zu begrenzen.

Das CDT verweist auf mehrere Vorfälle, um zu belegen, dass automatisierte Werkzeuge menschliche Aufsicht brauchen. Anfang des Monats berief sich Meta auf „automatisierte Schutzmaßnahmen“, als es den Instagram-Account von No Kings vorübergehend entfernte. Hinter dem Account steht das Bündnis, das die landesweiten Pro-Demokratie-Proteste in den USA organisiert. Das CDT erklärt, bei diesem Vorfall sei möglicherweise kein LLM im Spiel gewesen. Er zeige aber, dass es Schutzvorkehrungen gegen maschinelle Fehler brauche, wie auch das Oversight Board nach dem Vorfall festgehalten habe.

Die Organisation nennt außerdem YouTube, das während der Corona-Quarantäne den Großteil seiner Inhaltsmoderation auf automatisierte Verfahren verlagerte. Laut CDT stieg danach die Zahl der Einsprüche sprunghaft an, und 50 Prozent der Einsprüche gegen Inhaltsentscheidungen nach der Umstellung führten dazu, dass die Inhalte wiederhergestellt wurden. Bei TikTok warnte ein ehemaliger Moderator, KI-gestützte Verfahren könnten ohne ausreichende menschliche Prüfung und Aufsicht großen Schaden bei Nutzerinnen und Nutzern anrichten.

Risiken für marginalisierte Gruppen und algorithmische Monokultur

Die Stellungnahme des CDT benennt konkrete Schwächen LLM-basierter Moderation von Nutzeräußerungen. Besonders betroffen seien Nutzerinnen und Nutzer außerhalb der USA, Äußerungen politischer und religiöser Minderheiten sowie anderer marginalisierter Sprecher.

Die Gruppe verweist zudem auf das Risiko einer sogenannten algorithmischen Monokultur. Wenn dieselben oder ähnliche Modelle Inhalte auf mehreren Diensten mit nutzergenerierten Inhalten moderieren, könnten dieselben Personen und Angehörige derselben marginalisierten Gruppen auf mehreren Diensten gleichzeitig benachteiligt werden.

Laut CDT sind diese Grenzen in Hochrisikofällen am gravierendsten, etwa bei Inhalten, die zu Gewalt gegen gewählte Amtsträger aufrufen oder reale Konflikte darstellen. Deshalb bleibe menschliche Prüfung unverzichtbar, auch wenn Moderationsprozesse LLMs einbinden. LLM-basierte Systeme könnten helfen, wenn sie Trust-and-Safety-Fachleuten und auch externen Content-Moderatoren zur Vorsortierung von Inhalten an die Hand gegeben würden, statt diese vollständig zu ersetzen.

Die Empfehlungen des CDT für Trust-and-Safety-Teams

Aufbauend auf der Arbeit von Trust-and-Safety-Fachleuten empfiehlt das CDT den Teams folgende Schritte:

• LLM-basierte Werkzeuge nutzen, um bestehende Trust-and-Safety-Prozesse zu verbessern, nicht um sie zu ersetzen.
• Vor der Einführung eines gewählten Werkzeugs eine Menschenrechts-Folgenabschätzung durchführen, um zu klären, ob es neue Risiken für die Menschenrechte birgt oder bestehende verstärkt und wie sich diese eindämmen lassen.
• Drittanbieter LLM-basierter Moderationswerkzeuge verpflichten, zentrale Leistungskennzahlen wie Precision, Recall und Falsch-Positiv-Raten für jede Sprache offenzulegen, in der das Werkzeug angeblich funktioniert.
• Klare Methoden entwickeln und anwenden, um die Leistung eines Werkzeugs vor dem Einsatz zu bewerten, einschließlich Wirksamkeit und Drift im Zeitverlauf, mit Kennzahlen zu Precision und Recall nach Inhaltstypen, Risikokategorien und Sprachen.
• Jede nachteilige Moderationsentscheidung eines LLM-basierten Werkzeugs gegenüber den Nutzern erklären, Erklärbarkeitswerkzeuge unter Beachtung ihrer Grenzen einsetzen und den Nutzern die Möglichkeit zum Einspruch geben.
• Offenlegen, in welchen Sprachen das Werkzeug feinabgestimmt und getestet wurde und anhand welcher Benchmarks, falls überhaupt.
• LLM-basierte Moderation in Transparenzberichte aufnehmen, zum Beispiel die Zahl der von einem LLM getroffenen Entscheidungen, wie viele davon angefochten wurden und wie viele Einsprüche erfolgreich waren.

Was das für Plattformen und Nutzer bedeutet

Die Stellungnahme ist ein Beitrag zur Arbeit des Oversight Boards, keine verbindliche Regel. Sollten die Leitlinien des Boards diese Punkte aufgreifen, könnten Unternehmen, die LLMs zur Moderation einsetzen, mit der Erwartung konfrontiert werden, Werkzeuge nach Sprachen getrennt zu testen, Leistungsdaten zu veröffentlichen und Nutzern Erklärungen sowie Einspruchswege anzubieten. Für Nutzerinnen und Nutzer, vor allem für solche, die in anderen Sprachen als Englisch schreiben oder Minderheiten angehören, sind menschliche Prüfung und Transparenz nach Auffassung des CDT der wichtigste Schutz vor automatisierten Fehlern.