Sierras τ-i18n testet Sprachagenten in fünf weiteren Sprachen, Koreanisch schneidet am schlechtesten ab

Gleiche Aufgaben, fünf weitere Sprachen

Der neue Benchmark geht auf eine frühere Erkenntnis zurück. In seinen τ-Voice-Experimenten haben Akzente laut Sierra im Durchschnitt den größten Rückgang bei der Aufgabenlösung verursacht, verglichen mit den anderen getesteten Faktoren. Daraus ergab sich eine grundsätzlichere Frage: Wie gut bedienen Sprachagenten Anrufer in anderen Sprachen?

τ-i18n, ausgesprochen als tau-internationalization, nutzt in allen Sprachen dieselben Aufgaben aus den Bereichen Fluggesellschaft, Einzelhandel und Telekommunikation. Aufgaben, Richtlinien, Tools und Erfolgskriterien bleiben unverändert, sodass Sierra die Leistung von Sprache zu Sprache vergleichen kann.

Der Benchmark basiert auf Sprachpaketen, mit denen Muttersprachler Festlegungen für jede Region treffen können. Laut Sierra passen die Pakete Identitäten der Anrufer und dazu passende Datenbankeinträge, Personas, Stimmen, Sprachkonventionen und Bewertungsregeln an, während die zugrunde liegenden Serviceaufgaben gleich bleiben.

Lokalisierung statt bloßer Übersetzung

Sierra unterscheidet zwischen Internationalisierung, also der Grundlage, die ein Produkt an verschiedene Sprachen anpassbar macht, und Lokalisierung, der Anpassung an eine bestimmte Sprache. Im Kundenservice können dazu Namen, Datumsangaben, Währungen, Produktbegriffe und lokale Konventionen gehören. Bei Sprache kommen Aussprache, Code-Switching, Anredeformen und Sprecherwechsel hinzu.

Das Unternehmen nennt konkrete Beispiele. Auf Hindi könnte ein Agent mit weiblicher Stimme von sich selbst in der männlichen Form sprechen. Auf Mandarin könnte ein Agent eine steife Wendung sagen, die „einen Stornierungsvorgang ausführen“ bedeutet, wo ein Mensch „Ihnen beim Stornieren helfen“ sagen würde. Beides vermittle die Botschaft, so Sierra, klinge aber nicht ganz richtig.

Ein weiterer Fall ist die Namensreihenfolge. Anrufer aus Korea und China nennen in der Regel zuerst den Familiennamen. Ein Agent, der den zuerst gesprochenen Namen in ein Feld für den Vornamen einträgt, kann daher bei der Authentifizierung scheitern, selbst wenn er den Namen korrekt verstanden hat.

Zwei neue Messgrößen und was die Ergebnisse zeigen

Die Aufgabenlösung zeigt, ob der Agent das Ziel des Anrufers erreicht hat, aber nicht, wie das Gespräch verlief. τ-i18n führt deshalb zwei zusätzliche Messgrößen ein, die getrennt ausgewiesen werden:

• Interaktion: ob der Agent zum richtigen Zeitpunkt antwortet oder das Wort abgibt, Unterbrechungen und lange Monologe vermeidet und Rückmeldesignale oder Nebengeräusche ignoriert, die keine Antwort erfordern (Sierra nennt das Selektivität). Dazu zählt auch die Effizienz bei der Tool-Nutzung.
• Generierungsqualität: was der Anrufer tatsächlich hört, darunter Natürlichkeit (Übersetzungsdeutsch, Fehler beim grammatischen Geschlecht, Sprachregister, Höflichkeitsformen) und Sprachtreue bei Wörtern, Namen und Zahlen.

Die Ergebnisse umfassen drei Sprachagenten und 2.700 Hauptanrufe. Bei der Aufgabenlösung liegen Spanisch, Hindi und Portugiesisch im Durchschnitt 2,4, 3,8 und 6,4 Prozentpunkte hinter Englisch. Koreanisch und Mandarin liegen 22,6 beziehungsweise 9,1 Punkte zurück. Bei Anrufen auf Koreanisch und Mandarin treten zudem für jeden Agenten die meisten Tool-Fehler auf.

Die Reaktionsfähigkeit ist eine verbreitete Schwäche. Laut Sierra verpassen GPT Live 1 und Gemini 3.8 Live in mehr als 80 Prozent der Anrufe einen Redebeitrag des Anrufers, antworten langsam oder geben das Wort nicht ab, bei Grok Voice Think Fast 2.0 sind es 16 Prozent. In 26 bis 60 Prozent der Anrufe reagieren die Agenten mehr als dreimal auf Rückmeldesignale, stimmliche Tics oder Äußerungen, die nicht an sie gerichtet sind.

GPT Live 1 führt bei der Aufgabenlösung mit 79,9 Prozent und bei der Generierungsqualität mit 63,4 Prozent. Grok Voice Think Fast 2.0 führt bei der Interaktion mit 52,6 Prozent, erreicht aber nur 17,7 Prozent bei der Generierungsqualität. In Sierras Worten: „Der reaktionsschnellste Agent ist nicht unbedingt der natürlichste Sprecher.“

Offen für weitere Sprachen

Sierra bezeichnet die fünf Sprachen als „Ausgangspunkt“. Das Unternehmen hat seine Codebasis und LanguageFactory, das Framework hinter den Sprachpaketen, als Open Source veröffentlicht, damit Muttersprachler, Forschende und Sprachgemeinschaften weitere Sprachen und Regionen ergänzen können. Beitragende sollen repräsentative Anrufer entwickeln, Stimmen und Beispielgespräche prüfen und die Konventionen festlegen können, an denen Agenten gemessen werden.

Für Teams, die Sprachagenten außerhalb des Englischen einsetzen, deuten die Ergebnisse darauf hin, dass ein einzelner Gesamtwert große Unterschiede zwischen den Sprachen verbergen kann und dass eine erledigte Aufgabe nicht bedeutet, dass das Gespräch richtig klang oder flüssig verlief. Die Arbeit stammt von Forschenden von Sierra, der Princeton University und Mercor.