Benchmark für Diktat-Bereinigung: Schnelle kleine Modelle tauschen Punktzahl gegen Tempo

Was der Benchmark testet

Laut AssemblyAI ist die Diktat-Bereinigung "die eine LLM-Aufgabe, bei der das leistungsfähigste Modell oft die falsche Wahl ist". Wer aufhört zu sprechen, erwartet den fertigen Text fast sofort. Ein Modell, das etwas besser abschneidet, aber dreimal so lange braucht, verliert nach Darstellung des Unternehmens.

Voice Standard Bench ist ein Open-Source-Benchmark, der jedes Modell im LLM Gateway von AssemblyAI (zum Zeitpunkt der Veröffentlichung mehr als 50) bei vier Sprachaufgaben antreten lässt: Zusammenfassung, Informationsextraktion, Textkorrektur und Diktat-Bereinigung. Die Diktataufgabe isoliert eine einzige Tätigkeit: das Ausführen gesprochener Formatierungsbefehle. Jedes Modell erhält dasselbe rohe Transkript, in dem Satzzeichen, Groß- und Kleinschreibung sowie Formatierung laut ausgesprochen werden, etwa "comma", "new paragraph" oder "all caps", und muss den formatierten Text zurückgeben.

Die Regeln sind streng. Gesprochene Zahlen bleiben Wörter, es wird kein Wort hinzugefügt, weggelassen oder umgestellt, und jedes Befehlswort muss verarbeitet werden. Bleibt ein wörtliches "comma" im Text stehen, zählt das als Fehler. Dasselbe gilt, wenn die Nachricht zu etwas Geschliffenerem umformuliert wird, als gesagt wurde. Das Entfernen von Füllwörtern und Selbstkorrekturen wird in dieser Aufgabe nicht bewertet.

So funktioniert die Bewertung

Die drei übrigen Aufgaben werden von zwei LLM-Juroren bewertet, Claude Opus 5.5 und GPT-5.6 Sol. Beim Diktat gibt es keinen Juror. Da jede Eingabe eine bekannte richtige Lösung hat, bewertet der Benchmark maschinell anhand von:

• exakter Übereinstimmung mit dem erwarteten Text
• Wortfehlerrate
• Genauigkeit der Satzzeichen
• Genauigkeit der Groß- und Kleinschreibung
• Genauigkeit der Formatierungsbefehle

Der Diktat-Datensatz ist synthetisch, mit LLM-generierten Beispielen und bekanntem Referenztext, 20 pro Längenklasse. Er läuft nur in den Klassen 30 Sekunden und 2 Minuten, da niemand eine Stunde lang in ein Textfeld diktiert. Zu jedem Modell werden zudem die mediane Antwortzeit und die Kosten pro Stunde Audio zum Listenpreis des Anbieters angegeben.

Ergebnisse bei 30 Sekunden und 2 Minuten

Die Live-Ergebnisseite zeigt pro Länge drei Karten. Die folgenden Angaben stammen laut AssemblyAI vom 28. Oktober 2026.

• 30 Sekunden: Beste Leistung erzielt Gemini 4 Argon mit einem Wert von 100, 0,047 $/h und 2,00 s. Am schnellsten ist Qwen3.5 4B Fast mit einem Wert von 81 und einem Median von 0,28 s. Am günstigsten ist Nemotron 3 Nano 30B A3B mit einem Wert von 81 und 0,0013 $/h.
• 2 Minuten: Gemini 4 Argon erreicht 99 bei 0,068 $/h und 2,61 s. Qwen3.5 4B Fast kommt auf 75 mit einem Median von 0,60 s. Nemotron 3 Nano 30B A3B erreicht 67 bei 0,0017 $/h.

Der Abstand zwischen dem Spitzenmodell und den kleinen Modellen wächst mit längerer Eingabe. AssemblyAI weist darauf hin, dass die Karten "Schnellstes" und "Niedrigste Kosten" keine Qualitätsuntergrenze haben. Vor dem Einsatz sollte man daher die Punktzahl prüfen.

Die vollständige Tabelle enthält weitere Optionen. Bei 30 Sekunden erreicht Gemini 2.5 Flash Lite einen Wert von 97 für etwa 0,002 $ pro Stunde Audio bei einem Median von 0,70 Sekunden. Bei 2 Minuten fällt der Wert auf 82.

Erst Latenz, dann Exaktheit, dann Kosten

AssemblyAI rät, die Antwortzeit vor der Qualität zu betrachten. Ein Diktatablauf ist interaktiv, und laut der Empfehlung des Benchmarks unterscheiden sich Werte, die innerhalb von 2 bis 3 Punkten liegen, nur marginal. Das Unternehmen warnt außerdem, dass große, kreative Modelle mitunter zu stark eingreifen, etwa wenn aus "twelve thirty four" ein "12:34" wird, obwohl die Regel vorsieht, Wörter beizubehalten. Die maschinelle Bewertung bestraft das.

Die Kosten seien real, aber gering: Bei 30 Sekunden bis 2 Minuten Audio umfassen Ein- und Ausgabe einige hundert Token, sodass die absoluten Beträge niedrig bleiben, auch wenn die Spanne zwischen den Modellen groß ist.

Was das für Entwickler bedeutet

AssemblyAI empfiehlt, die Modellliste des Gateway nach Aufgabe und Länge zu filtern, zwei oder drei Modelle in die engere Wahl zu nehmen und mit echten Daten zu testen. Das Unternehmen mahnt, dass die Diktatdaten synthetisch sind und nach exakter Übereinstimmung bewertet werden. Der Benchmark sei daher als Vorauswahl zu verstehen, nicht als endgültiges Urteil. Für Teams, die kein Modell auswählen möchten, verweist das Unternehmen auf seine Dictation API, die Transkription und Bereinigung in einem Aufruf erledigt und sowohl das wörtliche Transkript als auch den umgeschriebenen Text zurückgibt.