CIFAR-Team nimmt Verzerrungen gegenüber nigerianischem Pidgin in KI-Systemen ins Visier

Warum nigerianisches Pidgin eine Sicherheitsherausforderung darstellt

Führende KI-Modelle behandeln nigerianisches Pidgin, auch Pidgin genannt, häufig als fehlerhaft, statt es als eigenständige Sprache anzuerkennen. Laut CIFAR markieren Modelle korrekte Grammatik möglicherweise als Fehler, missverstehen kulturelle Nuancen oder geben Antworten in Standardenglisch zurück.

Diese Fehler beeinflussen mehr als nur die Art und Weise, wie Menschen mit Software interagieren. CIFAR zufolge wird die Nichtbeachtung von Dialekten zu einem Sicherheitsproblem, da KI in Bereichen wie der Aufnahme von Patientinnen und Patienten in Krankenhäusern und der automatisierten Inhaltsmoderation eingesetzt wird. Ein falsch interpretiertes Symptom könnte zu einer medizinischen Fehldiagnose beitragen, während lokaler Slang, der im jeweiligen Kontext harmlos ist, fälschlicherweise als toxisch eingestuft werden könnte.

Die Arbeit wird von Laleh Seyyed-Kalantari und Blessing Ogbuokiri geleitet, den Co-Direktorinnen und Co-Direktoren des CIFAR-Netzwerks „AI Safety Mitigating Dialect Bias Solution Network“. Das Netzwerk ist eines von zwei Solution Networks, die über das CIFAR-Forschungsprogramm CAISI finanziert werden. Ziel des Programms ist es, grundlegende Forschung zur KI-Sicherheit in praktische Lösungen zu überführen.

Datensätze aus echter Pidgin-Nutzung erstellen

Die Forschenden erklären, dass viele bestehende Dialekt-Benchmarks ein Problem haben: Sie gehen von Standardenglisch aus und verwenden ein großes Sprachmodell, um den Text in einen anderen Dialekt zu übersetzen. Dadurch kann die Sprache vereinheitlicht werden und Text entstehen, der für ihre Sprecherinnen und Sprecher nicht natürlich klingt.

Stattdessen sammelt das Netzwerk Originalbeispiele des Pidgin aus sozialen Medien, Alltagsgesprächen und formellen Nachrichtenplattformen. Jeder Beispielsatz wird sowohl mit einer maschinellen als auch mit einer menschlichen Übersetzung versehen. Dieser Datensatz mit drei Bestandteilen ermöglicht es den Forschenden, die beiden Ansätze zu vergleichen und zu ermitteln, an welchen Stellen Modelle Dialektmerkmale verändern, die Bedeutung verschieben oder Standardenglisch bevorzugen.

„Es gibt Ausdrücke, die in der lokalen Kultur völlig neutral oder positiv sind, die Modelle aber als unangemessen oder beleidigend behandeln“, sagt Seyyed-Kalantari in dem CIFAR-Artikel. „Das wird zu einer Form der Zensur.“ Ogbuokiri zufolge könnten Nutzerinnen und Nutzer andernfalls ihre Schreibweise ändern, um den Anforderungen von KI-Systemen zu entsprechen. „Sie sprechen ihren Dialekt nicht mehr, weil die KI nicht darauf trainiert ist, seine Nuancen zu verstehen“, fügt sie hinzu.

Einbindung der Gemeinschaft und offene Ressourcen

Das Netzwerk untersucht auch gesprochenes Pidgin. Mitglieder der Gemeinschaft nehmen medizinische Begriffe und simulierte Gespräche zwischen Ärztinnen, Ärzten und Patientinnen beziehungsweise Patienten auf. So wollen die Forschenden testen, ob Spracherkennungssysteme korrekt transkribieren, was die Patientinnen und Patienten sagen. Die Aufnahmen werden genutzt, um Fehler zu messen und genauere Systeme für sprachgesteuerte Gesundheitsanwendungen zu entwickeln.

Pidgin-Sprecherinnen und -Sprecher mit Erfahrung in Linguistik und Informatik wurden eingestellt und für die Datenerhebung und Annotation geschult. Lokale Fachleute helfen dabei sicherzustellen, dass das Material die tatsächliche Kommunikation widerspiegelt, auch wenn Sprecherinnen und Sprecher zwischen Pidgin und Standardenglisch wechseln. Fachleute für Politik und Regulierung beraten beim Forschungsdesign, bei der Vergütung und dabei, wie die Ergebnisse über wissenschaftliche Veröffentlichungen hinaus Wirkung entfalten können.

Das Netzwerk plant, seine Datensätze, Benchmarks, Modelle, seinen Code und seine Schulungsmaterialien offen zugänglich zu machen. Seyyed-Kalantari beschreibt die Arbeit als zweijähriges Projekt, das nicht jede Forschungsfrage selbst beantworten könne. Ogbuokiri zufolge könnten Open-Source-Ressourcen es anderen Gemeinschaften ermöglichen, die Arbeit wiederzuverwenden und bessere Modelle zu trainieren. CIFAR zufolge könnte das Projekt zudem dazu beitragen, diesen Ansatz auf andere unterrepräsentierte Sprachen auszuweiten.