Hugging Face startet Open TTS Leaderboard für mehrsprachige Sprachsynthese und Voice Cloning
Hugging Face hat das Open TTS Leaderboard vorgestellt, eine offene Evaluierungsplattform, die mehrsprachige Text-to-Speech- und Voice-Cloning-Modelle im großen Maßstab vergleicht. Laut Blogbeitrag soll sie die Bewertung per Nutzerabstimmung im Arena-Stil ergänzen, die mit dem Tempo neuer Veröffentlichungen kaum Schritt hält.
- Hugging Face hat das Open TTS Leaderboard für mehrsprachige Text-to-Speech- und Voice-Cloning-Modelle vorgestellt.
- Es soll die Bewertung per Arena-Abstimmung ergänzen, die mit schnellen Modellveröffentlichungen und dem Hosting offener Modelle Schwierigkeiten hat.
- Nutzer können Sprachen zuschalten, um Modelle nach mehrsprachiger Leistung zu ordnen.
- Sprachen außer Englisch und Chinesisch werden mit CV3 Eval (Zero-Shot) bewertet, für Chinesisch, Japanisch und Koreanisch wird die CER ausgewiesen.
- Erklärte Ziele sind reproduzierbare Vergleiche und eine breitere Abdeckung offener Modelle.
Warum Arena-Abstimmungen nicht ausreichen
Herkömmliche TTS-Arenen lassen Nutzerinnen und Nutzer meist die Ausgaben zweier Modelle anhören und das bevorzugte auswählen. Aus diesen Stimmen wird dann ein Elo-ähnlicher Wert berechnet, häufig mit Ansätzen wie dem Bradley-Terry-Modell. So lässt sich einfach erkennen, wie Systeme nach menschlicher Präferenz abschneiden.
Hugging Face betont, dass menschliches Feedback ein wichtiger Teil der Bewertung von Sprachqualität bleibt. Das Unternehmen nennt aber mehrere Probleme, wenn man sich allein auf Abstimmungen verlässt. Neue TTS-Modelle erscheinen in rasantem Tempo, dem Arenen kaum folgen können. Auch für Open-Source-Modelle gibt es praktische Hürden: Sie müssen in der Regel von der Evaluierungsplattform selbst gehostet und bereitgestellt werden, während sich kommerzielle, API-basierte Modelle leichter einbinden lassen. Laut dem Beitrag kann das dazu führen, dass Systeme mit offenen Gewichten auf öffentlichen Leaderboards weniger sichtbar sind.
Ein weiteres Problem ist die Konsistenz. Vorlieben und Hörkriterien der Menschen können sich mit der Zeit ändern, sodass Stimmen, die Monate auseinanderliegen, nicht unbedingt dieselben Maßstäbe widerspiegeln.
Was das Open TTS Leaderboard leistet
Das Leaderboard versteht sich als skalierbarer und transparenter Ort zur Bewertung mehrsprachiger TTS- und Voice-Cloning-Systeme. Hugging Face nennt drei Ziele: Vergleiche leichter reproduzierbar machen, die Abdeckung offener Modelle erweitern und neben menschlichen Präferenzen nützliche Evaluierungssignale liefern.
Der Beitrag hebt zudem hervor, dass die Sprache eine Rolle spielt. In den Worten des Unternehmens: "English performance doesn't necessarily translate to other languages." Nutzer können mehrere Sprachen zuschalten, um Modelle nach mehrsprachiger Leistung statt allein nach Englisch zu ordnen.
Datensätze und Metriken
Der Beitrag erläutert einige Details dazu, wie die Werte zustande kommen. Seed TTS Eval enthält nur Audiodaten für Englisch und Chinesisch, weshalb das Leaderboard für die übrigen Sprachen den Wert aus CV3 Eval im Zero-Shot-Setting verwendet.
Chinesisch, Japanisch und Koreanisch sind zeichenbasierte Sprachen, daher weist das Leaderboard für sie die Zeichenfehlerrate (CER) aus. Der „Average WER“ über alle Sprachen ist ein Makro-Durchschnitt, das heißt, jede Sprache fließt gleichgewichtet in den Gesamtwert ein.
Was das für Entwickler und Nutzer bedeutet
Für Forschende und Entwickler liegt das zentrale Versprechen in einem Vergleich von Sprachmodellen, der nicht allein davon abhängt, wer sie hostet oder wann abgestimmt wurde. Funktioniert der Ansatz wie beschrieben, könnten Modelle mit offenen Gewichten neben kommerziellen API-basierten Systemen mehr Sichtbarkeit erhalten. Hugging Face erklärt, das Projekt könne durch die Kombination aus skalierbaren Tests und Community-Feedback Forschenden, Entwicklern und Nutzern helfen, besser zu verstehen, wie Sprachmodelle über verschiedene Sprachen, Stimmen und Anwendungsfälle hinweg abschneiden.
Die Quelle veröffentlicht im vorliegenden Text weder Rankings noch konkrete Modellergebnisse, wie die Modelle im Leaderboard im Vergleich dastehen, ist daher hier nicht abgedeckt.
