Apple-Forscher erkennen Code-Switching direkt im Sprachencoder
Apple-Forscher haben eine schlanke Methode vorgestellt, die Code-Switching, also den Wechsel zwischen Sprachen innerhalb einer Äußerung, direkt aus Audiodaten erkennt. Mit dem Whisper-small-Encoder erreichte der Ansatz laut der Studie über 14 Sprachpaare in CS-FLEURS einen mittleren F1-Wert von 0,798.
- Apple-Forscher erkennen Code-Switching direkt aus Sprache, ohne Transkription.
- Die Methode findet sprachselektive Dimensionen des Hidden State anhand einsprachiger Aufnahmen.
- Whisper-small erreichte über 14 Sprachpaare in CS-FLEURS einen mittleren F1-Wert von 0,798.
- Die Baselines kamen auf 0,776 (CNN) und 0,751 (lineares HuBERT-Modell).
- Laut den Autoren hilft der Ansatz beim Aufbau repräsentativerer mehrsprachiger Korpora.
Warum Code-Switching-Daten schwer zu finden sind
Code-Switching (CS) kommt in mehrsprachiger Sprache häufig vor, ist in Pretraining-Korpora aber unterrepräsentiert, schreibt das Apple-Team. Damit Sprachmodelle besser damit umgehen können, braucht es mehr CS-Beispiele in den Trainingsdaten. Dafür müssen wiederum die passenden Äußerungen in großen Sprachsammlungen aufgespürt werden.
Ein bestehender Weg besteht darin, die Sprache zu transkribieren und im Text nach Sprachwechseln zu suchen. Nach Angaben der Forscher setzt das genaue mehrsprachige Transkriptionen voraus, was ein limitierender Faktor ist. Ihre Studie mit dem Titel "Code-Switching Detection via Language-Selective Dimensions in Speech Foundation Models" verzichtet auf diesen Transkriptionsschritt.
So funktioniert die Methode
Der Ansatz nutzt Sprachinformationen auf Frame-Ebene, die in vortrainierten Sprachencodern bereits vorhanden sind, um zu entscheiden, ob innerhalb einer Äußerung beide Sprachen vorkommen. Die Autoren identifizieren zunächst sprachselektive Dimensionen des Hidden State anhand einsprachiger Aufnahmen. Anschließend aggregieren sie die Aktivierungen dieser Dimensionen auf Frame-Ebene zu einer CS-Vorhersage.
Eine kleine CS-Menge dient dazu, eine Entscheidungsregel abzustimmen. Die Autoren bezeichnen die Methode insgesamt als schlank, da sie auf bereits vortrainierten Encodern aufbaut und keine neue Transkriptionspipeline benötigt.
- Sprachselektive Dimensionen anhand einsprachiger Aufnahmen identifizieren.
- Aktivierungen dieser Dimensionen auf Frame-Ebene aggregieren.
- Eine Entscheidungsregel mit einer kleinen CS-Menge abstimmen, um Code-Switching vorherzusagen.
Ergebnisse auf CS-FLEURS
Die Forscher berichten, dass der Whisper-small-Encoder über 14 Sprachpaare in CS-FLEURS einen mittleren F1-Wert von 0,798 erzielt. Zum Vergleich: Ein CNN kam auf 0,776, eine lineare HuBERT-Baseline, die für monolinguale Spracherkennung trainiert wurde, auf 0,751.
Die Abstände sind moderat, doch die Methode stützt sich auf eine kleine Abstimmungsmenge und auf Informationen, die bereits im Encoder stecken. Die Autoren folgern, dass vortrainierte Sprachencoder die Informationen, die zur Erkennung von CS-Äußerungen nötig sind, bereits enthalten.
Was das bedeutet
Laut der Studie bietet die Methode ein schlankes Werkzeug, um repräsentativere mehrsprachige Korpora aufzubauen. Wenn Teams Code-Switching-Äußerungen direkt im Roh-Audio markieren können, lassen sich mehr davon in Trainingsdatensätze aufnehmen, ohne zuvor mehrsprachige Transkripte zu erstellen.
Die Arbeit stammt von Jie Chi, Zakaria Aldeneh, Masha Fedzechkina, Maureen de Seyssel und Natalie Schluter und wurde im Oktober 2026 veröffentlicht. Sie steht neben weiterer Apple-Forschung zu Code-Switching, darunter eine frühere Studie zu iterativem Pseudo-Labeling für die Spracherkennung bei Mandarin-Englisch-Code-Switching.
