Bestes LLM für die Zusammenfassung von Transkripten hängt von der Länge ab, zeigt AssemblyAI-Benchmark

Vier Längen, vier unterschiedliche Antworten

Laut AssemblyAI konzentrieren sich die meisten Empfehlungen zur Zusammenfassung auf Dokumente. Transkripte seien anders, weil der Input gesprochen ist: mit Stockungen und Wiederholungen, mit zwei oder mehr Sprechern und teils falsch erkannten Wörtern. Hinzu kommt, dass die Länge innerhalb desselben Produkts um zwei Größenordnungen schwanken kann.

Der Benchmark testet vier Längenklassen. Bei 30 Sekunden trifft nahezu jedes Modell inhaltlich richtig: 41 der 52 Modelle auf dem Reiter Summarization erreichen 90 oder mehr, sodass Tempo, Preis und Ausschmückungen den Ausschlag geben. Bei 2 Minuten beginnt die inhaltliche Treue eine Rolle zu spielen. Bei 15 Minuten trennt die Abdeckung die Modelle, nur 10 Modelle erreichen 90 oder mehr. Bei 60 Minuten ist die Spanne zwischen Spitze und Ende des Rankings am größten, während der Geschwindigkeitsabstand zwischen kleinen und großen Modellen schrumpft.

Das übergeordnete Muster des Benchmarks laut AssemblyAI: Die meisten Sprachaufgaben benötigen weder Frontier-Modelle noch deren Preise. Offene und kleine Modelle sind bei kurzen Eingaben konkurrenzfähig, die Lücke öffnet sich erst bei Meeting-Länge.

So bewertet der Benchmark Zusammenfassungen

Der Voice Standard Bench ist Open Source und lässt jedes Modell des LLM Gateway (zum Zeitpunkt des Schreibens über 50) vier Aufgaben bearbeiten: Zusammenfassung, Informationsextraktion, Textkorrektur und Diktatbereinigung. Jedes Modell erhält denselben Prompt: eine Zusammenfassung, die ein vielbeschäftigter Mensch anstelle des Gesprächs lesen kann, die nur wiedergibt, was gesagt wurde, und deren Länge sich an das Gespräch anpasst.

Die Ausgaben bewerten zwei LLM-Juroren, Claude Opus 5.5 und GPT-5.6 Sol, nach drei Kriterien: Treue, Abdeckung und Prägnanz. AssemblyAI argumentiert, dass Metriken wie ROUGE und BERTScore, die auf Token-Überschneidung mit einer Referenz beruhen, für gesprochene Eingaben schlecht geeignet seien. Das Unternehmen gibt an, dass die beiden Juroren im Schnitt um wenige Punkte voneinander abweichen, dass die Selbstbevorzugung gemessen wurde und gering ausfiel und dass Werte innerhalb von 2 bis 3 Punkten als Gleichstand zu lesen sind.

Jede Klasse nutzt 10 reale Transkripte, die höchstens 15 % von der Ziellänge abweichen und mit AssemblyAI Speech-to-Text erzeugt wurden. Fehlgeschlagene Anfragen werden protokolliert, fließen aber nicht als Null in den Score ein. Ein Modell mit vielen Fehlern kann daher bei den abgeschlossenen Gesprächen einen hohen Score erzielen.

Der Benchmark weist außerdem die Kosten pro Audiostunde zum Listenpreis des Anbieters aus, nicht pro Token. Bei 2-Minuten-Gesprächen kostet claude-opus-5-5 (Score 99) etwa 0,30 US-Dollar pro Audiostunde, nemotron-3-nano-30b-a3b (Score 82) etwa 0,0016 US-Dollar. AssemblyAI beschreibt das als 17 Punkte Qualitätsunterschied bei unter 1 % des Preises.

Die Spitzenreiter, Stand 28. Oktober 2026

Die Live-Ergebnisseite zeigt pro Länge drei Karten: Highest Performance, Lowest cost und Fastest. AssemblyAI weist darauf hin, dass Lowest cost und Fastest keine Qualitätsuntergrenze haben, die Scores sollten also vor dem Produktiveinsatz geprüft werden.

• 30 Sekunden: gpt-5.6-terra erreicht 100. nemotron-3-nano-30b-a3b ist am günstigsten (Score 76, 0,0016 US-Dollar pro Stunde). qwen3.5-4b-32k-fast ist am schnellsten (Score 76, 0,28 s im Median).
• 2 Minuten: claude-opus-5-5 erreicht 99. nemotron-3-nano-30b-a3b kommt auf 82 bei 0,0016 US-Dollar pro Stunde. qwen3.5-4b-32k-fast kommt auf 69 bei 0,60 s.
• 15 Minuten: claude-opus-5-5 erreicht 97. nemotron-3-nano-30b-a3b kommt auf 77 bei 0,0013 US-Dollar pro Stunde. qwen3.5-4b-32k-fast kommt auf 60 bei 1,49 s.
• 60 Minuten: deepseek-v4.1-flash erreicht 96. nemotron-3-nano-30b-a3b kommt auf 69 bei 0,0011 US-Dollar pro Stunde. gemini-3.5-flash-lite ist am schnellsten (Score 76, 2,86 s).

Der Spitzenwert bei 60 Minuten kommt mit einer Einschränkung. Laut AssemblyAI kostet deepseek-v4.1-flash etwa 0,0092 US-Dollar pro Audiostunde, doch der Benchmark protokollierte bei den 60-Minuten-Läufen 25 fehlgeschlagene Anfragen, sodass die 96 nur die abgeschlossenen Gespräche abbildet. Die mediane Antwortzeit beträgt 73,3 Sekunden. Die nächsthöheren Scores erreichen claude-opus-5-5 und gpt-6-astra mit jeweils 95.

Was das für Teams bei der Modellwahl bedeutet

AssemblyAIs Empfehlung lautet, das Modell auf den Einsatzzweck abzustimmen. Bei einer Sprachnachricht, die sofort in einer Oberfläche erscheint, zählt die Antwortzeit, doch das schnellste Modell liegt 24 Punkte hinter der Spitze, weshalb das Unternehmen rät, ein bis zwei Plätze weiter unten im Geschwindigkeitsranking zu schauen. Für CRM-Notizen nach einem 2-Minuten-Gespräch sei ein kostengünstiges Modell meist die richtige Standardwahl, sofern sein Score nahe genug an der Spitze liegt. Bei Zusammenfassungen, die eine Folgeaktion wie ein Ticket oder eine Eskalation auslösen, empfiehlt es, eher zum leistungsstärksten Modell zu greifen und die Latenz in Kauf zu nehmen, die sich bei Batch-Verarbeitung verbergen lässt.

Bei 60 Minuten sei die Modellwahl laut Unternehmen am wichtigsten, und Teams, die Zuverlässigkeit benötigen, sollten neben dem Score auch das Fehlerverhalten bei den eigenen langen Gesprächen berücksichtigen. Für die Kostenplanung schlägt AssemblyAI vor, die Kosten pro Stunde mit den monatlichen Audiostunden zu multiplizieren: Bei einem Support-Team, das 10.000 Stunden im Monat zusammenfasst, wird die Differenz zwischen Spitzenmodell und Budget-Variante zu einem echten Kostenposten. AssemblyAI ergänzt, dass die Live-Seite die maßgebliche Quelle sei und sich mit den Modellen ändere.