AssemblyAI vergleicht LLMs bei der Extraktion strukturierter Daten aus gesprochenen Transkripten

Warum Transkripte schwieriger sind als Dokumente

AssemblyAI kritisiert, dass sich die meisten Ratschläge zur Extraktion strukturierter Daten auf PDFs, Rechnungen und Webseiten beziehen, während Sprachprodukte es mit Transkripten gesprochener Gespräche zu tun haben. Das Unternehmen nennt vier Probleme, die speziell bei Sprache auftreten: falsch verstandene und buchstabierte Zahlen, buchstabierte Namen und vage Datumsangaben, die Zuordnung von Sprechern sowie Überlappungen im Gespräch und Sprechunflüssigkeiten.

In einem Gespräch zwischen zwei Personen kann die Rückrufnummer zum Beispiel ein falscher Wert sein, den der Agent wiederholt hat, und nicht der richtige, den der Anrufer genannt hat. Ohne Sprecherlabels kann die Extraktion den falschen Gesprächsbeitrag übernehmen. Laut AssemblyAI kann ein auf flüssigen Text trainiertes Modell zudem eine Lücke überspielen, indem es etwas Plausibles erfindet. Das Unternehmen bezeichnet das als das schlimmste Ergebnis bei der Extraktion. Deshalb steht die Faktentreue (Groundedness) an erster Stelle des Bewertungsrasters des Benchmarks.

So bewertet der Benchmark die Extraktion

Der Voice Standard Bench lässt jedes Modell auf AssemblyAIs LLM Gateway (zum Zeitpunkt der Veröffentlichung mehr als 50) mit echten Speech-to-Text-Ergebnissen vier Aufgaben bearbeiten: Zusammenfassung, Informationsextraktion, Textkorrektur und Bereinigung von Diktaten. Bei der Extraktion muss das Modell eine feste JSON-Struktur füllen, bestehend aus Teilnehmern, Aufgaben (jeweils mit Verantwortlichem, Aufgabe und Fälligkeitsdatum), Entscheidungen und benannten Entitäten. Jeder Schlüssel muss vorhanden sein. Leere Felder erhalten ein leeres Array, und ein nicht genannter Verantwortlicher oder ein nicht genanntes Fälligkeitsdatum muss als "unspecified" gekennzeichnet werden, weder als null noch als Vermutung.

Die Bewertung erfolgt in zwei Schritten. Zuerst kommt eine maschinelle Schemaprüfung: Ausgaben, die sie nicht bestehen, werden gar nicht erst beurteilt und erhalten die schlechtestmögliche Bewertung. Gültige Ausgaben bewerten anschließend zwei LLM-Juroren, Claude Opus 5.5 und GPT-5.6 Sol, nach Faktentreue und Vollständigkeit. Die Aufgabe läuft in vier Längen: 30 Sekunden, 2 Minuten, 15 Minuten und 60 Minuten, mit jeweils 10 echten Transkripten pro Kategorie. Außerdem erhält jedes Modell eine mittlere Antwortzeit und die Kosten pro Stunde Audio zum Listenpreis des Anbieters. Anfragen, die mit einem Fehler enden, werden erfasst, fließen aber nicht in die Bewertung ein.

Die Spitzenreiter nach Transkriptlänge

Die Live-Ergebnisseite zeigt pro Länge drei Karten: Highest Performance, Lowest cost und Fastest. Stand 28. Oktober 2026 nennt AssemblyAI diese Spitzenreiter:

• 30 Sekunden: gpt-5.6-sol führt mit einem Wert von 94. nemotron-3-nano-30b-a3b ist am günstigsten (Wert 73, 0,0015 US-Dollar pro Stunde Audio), und qwen3.5-4b-32k-fast ist am schnellsten (Wert 80, 0,28 s Median).
• 2 Minuten: nemotron-lightning-3p5-30b-a3b liegt mit 100 an der Spitze, doch AssemblyAI bezeichnet das Modell als Ausreißer. Der Benchmark verzeichnete 15 fehlgeschlagene Anfragen, die mittlere Antwortzeit beträgt 18,1 Sekunden, und bei 30 Sekunden erreicht es nur 26. Die nächsthöchsten Werte erzielen gpt-5.6-luna und gemini-4-argon mit jeweils 91.
• 15 Minuten: gpt-6-luna führt mit 85. nemotron-3-nano-30b-a3b ist am günstigsten (Wert 49, 0,0013 US-Dollar pro Stunde), und qwen3.5-4b-32k-fast ist am schnellsten (Wert 33, 1,49 s Median).
• 60 Minuten: gpt-6.1-sol führt mit 85. nemotron-3-nano-30b-a3b ist am günstigsten (Wert 52, 0,0012 US-Dollar pro Stunde), und gemini-3.5-flash-lite ist am schnellsten (Wert 59, 2,86 s Median).

Für die Karten Lowest cost und Fastest gibt es keine Mindestqualität. AssemblyAI rät daher, vor dem Produktiveinsatz jeweils den Wert zu prüfen. Werte, die nur 2 bis 3 Punkte auseinanderliegen, unterscheiden sich nur geringfügig.

Was sich bei längeren Aufnahmen ändert

Bei Voicemails und kurzen Anrufen gibt es wenige, eng beieinanderliegende Fakten, die kleine Modelle schnell finden. Bei 30 Sekunden erreichen 43 der 52 Modelle auf dem Tab einen Wert von 80 oder mehr. In einem 15-minütigen Support-Gespräch kann eine Bestellnummer dagegen einmal fallen, zehn Minuten später korrigiert werden und schließlich in der Wiederholung des Agents landen. Hier beginnt die Vollständigkeit die Modelle zu trennen. Bei 60 Minuten dominiert der Umgang mit dem Kontext: Manche Modelle lassen Fakten aus der Mitte eines langen Transkripts fallen, und nur 9 Modelle erreichen 80 oder mehr.

Das schnellste Modell zeigt diese Verschiebung deutlich. qwen3.5-4b-32k-fast erreicht bei 30 Sekunden 80 und bei 15 Minuten 33. AssemblyAI sagt, die Erkenntnis aus dem Launch-Beitrag, dass "most voice tasks don't need frontier models, or frontier-model prices", gelte weiterhin, die Ausnahme sei bei dieser Aufgabe aber in den längsten Kategorien am deutlichsten zu sehen.

Was das für Teams bedeutet, die Sprachprodukte entwickeln

AssemblyAI empfiehlt, sich vor der Modellwahl vier Fragen zu stellen: wie streng das Schema ist, wie teuer ein halluziniertes Feld wäre, wie groß das Latenzbudget ist und wie lang die Transkripte sind. Wenn nachgelagerter Code die Ausgabe parst, rät das Unternehmen zu Modellen, die strukturierte Ausgaben über response_format unterstützen, und dazu, jede Antwort trotzdem zu validieren. Es empfiehlt außerdem, die Faktentreue höher zu gewichten als die Vollständigkeit und dem Modell einen legitimen Weg zu geben, "nicht angegeben" zu sagen.

Für das Routing eines Sprachagenten mitten im Gespräch, wo eine Antwort in deutlich unter einer Sekunde nötig ist, ist die Karte Fastest der Ausgangspunkt. Für nächtliche Extraktionen über zurückliegende Aufnahmen lässt sich unabhängig von der Geschwindigkeit das leistungsstärkste Modell einsetzen. Die Live-Seite sei die maßgebliche Quelle, so das Unternehmen, da sich die Rankings mit den Modellen ändern.