AssemblyAI-Benchmark: Kleine LLMs halten bei kurzem Audio mit großen Modellen mit, bei Meeting-Länge fallen sie zurück

Was der Benchmark zu Kosten und Länge zeigt

Laut AssemblyAI beantwortet ein kleines, schnelles LLM eine 30 Sekunden lange Voicemail oder einen 2-minütigen Anruf in etwa einer Sekunde und landet nur wenige Punkte hinter den größten Modellen. Bei einem einstündigen Meeting lohnt sich dagegen das größere Modell. Das Unternehmen betont, dies beruhe auf Messungen und nicht auf Bauchgefühl.

Im aktuellen Durchlauf des Voice Standard Bench kostet das bestplatzierte Modell pro Stunde Audio das 15- bis 77-Fache eines Modells, das höchstens zwei Qualitätspunkte darunter liegt. Bei einstündigen Transkripten schrumpft dieser Aufschlag auf etwa das Vierfache. AssemblyAI beschreibt das als den Punkt, an dem sich größere Modelle auszahlen.

Der Benchmark lässt jedes Modell über LLM Gateway auf echten Speech-to-Text-Ausgaben in vier Längen laufen: rund 30 Sekunden, 2 Minuten, 15 Minuten und 60 Minuten. Die Punktzahlen reichen von 0 bis 100, alle Aufgaben werden gleich gewichtet. Im Durchlauf vom 13. Oktober 2026 erreichte die jeweils beste Wahl pro Länge 96, 94, 89 und 88 Punkte. GPT-6 Luna kam auf 95, 92, 87 und 85. gemma-4-31b erzielte 93, 89, 64 und 63. Qwen3.5 4B Fast landete bei 74, 64, 47 und 31. AssemblyAI weist darauf hin, dass Werte innerhalb von 2 bis 3 Punkten faktisch als gleichauf gelten.

Qwen3.5 4B Fast: das schnellste Modell, mit klaren Grenzen

Qwen3.5 4B Fast ist das Open-Source-Modell Qwen3.5 4B, das AssemblyAI auf eigenen GPUs in einer auf Latenz optimierten Konfiguration mit einem Kontextfenster von 32.768 Token betreibt. Es kostet 0,10 US-Dollar pro Million Eingabe-Token und 0,50 US-Dollar pro Million Ausgabe-Token.

Bis zu einer Länge von 15 Minuten ist es das schnellste Modell im Benchmark, mit Medianzeiten von 0,28 Sekunden bei 30 Sekunden, 0,60 Sekunden bei 2 Minuten und 1,49 Sekunden bei 15 Minuten. In Tests zum Start mit Voice-Rewrite-Aufgaben benötigte es laut AssemblyAI im Schnitt 612 ms, war damit 1,9-mal schneller als GPT-4.1 und kostete pro Stunde Audio 94 Prozent weniger. Bei 2-minütigen Transkripten liegen die Kosten bei rund 0,003 US-Dollar pro Stunde Audio.

Das Unternehmen empfiehlt es für kurze Umformulierungsaufgaben, bei denen ein Nutzer wartet: Diktat bereinigen, Transkripte in E-Mails oder Notizen verwandeln, Live-Formatierung und das Verdichten eines Gesprächsbeitrags auf eine Zeile. Die Qualitätseinbußen sind real. Bei 30 Sekunden erreicht es 62 Punkte bei der Textkorrektur und 81 beim Diktat, gemma-4-31b dagegen 93 und 98. AssemblyAI empfiehlt es bei einem Latenzbudget von unter etwa 500 ms.

Beim Extrahieren von Informationen sinkt der Wert von 80 bei 30 Sekunden auf 51 bei 2 Minuten und 33 bei 15 Minuten. Über die API unterstützt es nur max_tokens, temperature und stream, aber weder Tool Calling noch strukturierte Ausgabe. AssemblyAI hält es deshalb für die falsche Wahl bei JSON-Extraktion oder Voice Agents. Das Unternehmen betreibt das Modell selbst und veröffentlicht diese Schwächen nach eigenen Angaben trotzdem, damit Teams ihren Traffic gut routen können.

Weitere kleine offene Modelle und ihre Kompromisse

AssemblyAI betrachtet außerdem drei offene Modelle, die bei längeren Eingaben besser durchhalten. Die im Beitrag genannten Modelle laufen über AWS Bedrock, DigitalOcean oder Fireworks.

• gemma-4-31b beantwortet eine 30-Sekunden-Eingabe in unter einer Sekunde bei einem Wert von 93, GPT-6 Luna braucht 1,7 Sekunden. Einen 2-Minuten-Anruf schafft es in 1,5 Sekunden gegenüber 2,4. Es ist das günstigste Modell innerhalb von 8 Punkten zur Spitze bei der Textkorrektur (84), fällt bei 15 Minuten aber auf 64.
• GLM-5.3 Flash ist das günstigste Modell innerhalb von 8 Punkten zur Spitze bei Zusammenfassung (91) und Diktat (96). Bei 15 Minuten erreicht es 74 und liegt damit weit hinter den Spitzenreitern.
• Nemotron 3 Nano 30B A3B kostet bei jeder Länge etwa 0,002 US-Dollar oder weniger pro Stunde Audio. Die Werte bei der Informationsextraktion liegen bei 73, 58, 49 und 52 über die vier Längen. AssemblyAIs Fazit: Das billigste Modell ist nicht die günstigste Wahl, wenn es die Aufgabe nicht erledigen kann.

Das Unternehmen erklärt zudem, dass Mixture-of-Experts-Modelle wie Nemotron insgesamt 30 Milliarden Parameter haben, pro Token aber nur etwa 3 Milliarden aktivieren. Bei Preis und Geschwindigkeit konkurrieren sie deshalb mit kleinen Modellen.

Warum Länge schadet und warum das Hosting zählt

AssemblyAI schließt die naheliegende Erklärung aus. Ein einstündiges Meeting umfasst weit über 10.000 Eingabe-Token, was noch in das 32.768-Token-Fenster von Qwen3.5 4B Fast passt. Die Werte deuten stattdessen darauf hin, wie viel die Aufgabe einem Modell abverlangt, im Blick zu behalten. Abdeckung bei Zusammenfassungen und Vollständigkeit bei Extraktionen belohnen das Erfassen von Themen, Entscheidungen, Aufgaben und benannten Entitäten.

Eine Voicemail hat einen Anrufer und ein Anliegen. Ein langes Meeting enthält Dutzende Entscheidungen und Verantwortliche, Themen kehren 40 Minuten später wieder. Jedes ausgelassene Element kostet Punkte, und kleinere Modelle lassen laut dem Unternehmen mit wachsenden Transkripten mehr aus. Es nennt zwei Einschränkungen: Das zeigen die Werte, es ist aber keine vollständige Erklärung des Mechanismus, und das Diktat wurde nur bei 30 Sekunden und 2 Minuten gemessen. Teams sollten mit eigenen langen Transkripten testen.

Auch das Hosting spielt eine Rolle. Im Benchmark brauchen dieselben offenen Modellfamilien bei anderen Anbietern 10 bis 20 Sekunden für eine Antwort. Die Geschwindigkeit von Qwen3.5 4B Fast unter einer Sekunde stammt laut AssemblyAI daher aus einem abgestimmten Deployment und nicht allein von den 4 Milliarden Parametern. Der Hosting-Anbieter verarbeitet zudem das Transkript, der Datenstandort gehört also zur Entscheidung.

Was das für Teams bedeutet, die Sprachdaten routen

Die praktische Botschaft von AssemblyAI lautet, nach Transkriptlänge zu routen. Bei kurzen, latenzkritischen Umformulierungen liegen kleine Modelle zu einem Bruchteil der Kosten nah an der Spitze. Bei Zusammenfassung und Extraktion in Meeting-Länge wächst der Abstand, und größere Modelle rechtfertigen ihren Preis. Die Quelle merkt außerdem an, dass das beste Preis-Leistungs-Verhältnis im Benchmark kein offenes Modell ist: GPT-6 Luna erreicht über die vier Längen 95, 92, 87 und 85 Punkte. Die genannten Preise sind Listenpreise mit Stand 20. Oktober 2026. Für aktuelle Tarife und Anbieterdetails verweist AssemblyAI auf seine Preisseite und die Dokumentation.