Sierras τ-Entity-Benchmark zeigt: Sprachagenten scheitern weiterhin an Namen und E-Mail-Adressen

Was 𝜏-Entity misst

Sierra erklärt, im früheren Benchmark 𝜏-Voice immer wieder auf denselben Engpass gestoßen zu sein: Ein Agent erfasst eine Angabe falsch und scheitert an der Authentifizierung, bevor er dem Anrufer helfen kann. 𝜏-Entity isoliert genau dieses Problem. Der Benchmark umfasst 200 Aufgaben mit zehn Entitätstypen, darunter Namen, Telefonnummern, Adressen und E-Mail-Adressen.

Jeder Anruf konzentriert sich auf ein einziges Feld, der Anrufer ist kooperativ und buchstabiert auf Nachfrage korrekt. Die meisten Anrufe dauern weniger als zwei Minuten. Jede Aufgabe beginnt mit einem fehlenden Wert, den der Agent beim Anrufer erfragen und übermitteln muss. Als Erfolg zählt nur, wenn der gespeicherte Wert exakt mit dem erwarteten übereinstimmt.

Sierra variiert den Schwierigkeitsgrad des Werts, das Verhalten der Anrufer, etwa Korrekturen und Neustarts, sowie die Audioumgebung. Anschließend wird Pass³ ausgewiesen: Es prüft, ob ein Agent dieselbe Aufgabe unter regulären, geräuschintensiven und sprachintensiven Bedingungen löst. So lassen sich zwei Fragen trennen: Kann der Agent den Wert erfassen, und kann er das auch bei wechselnden Bedingungen zuverlässig?

So schneiden aktuelle Agenten ab

Im Leaderboard, das alle sechs 𝜏-i18n-Sprachen zusammenfasst, liegt GPT Live 1 vorn. Das Modell erfasst den Wert in 60,3 % der regulären Anrufe korrekt, besteht aber unter allen drei Bedingungen nur 34,0 % der Aufgaben. Gemini 3.8 Live und Grok Voice Think Fast 2.0 erreichen unter regulären Bedingungen 43,8 % bzw. 44,2 %, über alle drei Bedingungen hinweg fallen sie auf 19,5 % bzw. 24,0 %.

Allein auf Englisch fällt die Aufgabe leichter. GPT Live 1 kommt dort auf 74,0 % bei regulären Anrufen und 47,5 % über alle drei Bedingungen. Spanisch, Portugiesisch und Hindi liegen nah am Englischen, Gemini und Grok erzielen dort sogar bessere Werte als auf Englisch. Der Pass³-Wert fällt bei Koreanisch auf 3,5, 8,5 % und bei Mandarin auf 12,5, 24,5 % über die Agenten hinweg.

Verifizieren hilft, Korrigieren gelingt kaum

Sierra verweist zudem auf das Paper 𝜏-Elicitation, das gemessen hat, wie oft Agenten Werte zurücklesen oder um eine Buchstabierung bitten. Schwierige und ungewohnte Entitäten verifizierten die Agenten sorgfältiger. Doch nur Grok verifizierte bei Störgeräuschen mehr, und kein Agent betrieb mehr Aufwand bei der Anrufer-Stimme, mit der er am meisten Mühe hatte.

Wenn die Agenten ihre Verifikationsstrategie selbst wählten, waren nur 14, 41 % der Aufgaben unter allen drei Bedingungen erfolgreich. Eine vorgegebene Abfolge (nachfragen, den Anrufer buchstabieren oder zurücklesen lassen, bestätigen und korrigieren, dann übermitteln) hob diesen Wert auf 37, 54 %, ein Plus von 14, 31 Prozentpunkten. Der Preis ist Zeit: Die Anrufe dauern 21, 28 Sekunden länger. Insgesamt umfasste der Test 4.800 Anrufe.

Auch die Fehlerkorrektur bleibt eine Schwachstelle. Nur 24, 37 % der anfangs falschen Erfassungen, die Agenten verifizieren, werden am Ende korrigiert. Mal wiederholt der Agent denselben Fehler, mal ersetzt er den Wert durch einen neuen falschen.

Zudem summieren sich Fehler über mehrere Felder. In der Mehrfeldstudie gelingen nur 53 % der Anrufe mit drei Feldern, obwohl die einzelnen Felder zu 75 % korrekt erfasst werden. Die Validierung jedes einzelnen Felds samt Wiederholungsmöglichkeit steigerte die Erfolgsquote bei diesen Aufgaben von 64 % auf 82 %, wobei Sierra einräumt, den Beitrag der einzelnen Bestandteile nicht trennen zu können.

Was das für Entwickler von Sprachagenten bedeutet

Sierra folgert, dass verlässliche Sprachagenten Unsicherheit erkennen, die richtigen Dinge verifizieren und Fehler beheben müssen. Zugleich warnt das Unternehmen, dass nicht jede Interaktion den längsten Verifikationsprozess braucht, weil die zusätzliche Sorgfalt Zeit kostet. Die Herausforderung bestehe darin zu wissen, wann dieser Aufwand nötig ist.

𝜏-Entity startet zusammen mit 𝜏-i18n und deckt dieselben sechs Sprachen ab. Sierra dankt Victor Barres von Mercor für die Zusammenarbeit. Für Teams, die Sprachagenten entwickeln, bietet der Benchmark kontrollierte Aufgaben, um Fortschritte über Entitätstypen, Anruferverhalten und Umgebungen hinweg zu verfolgen.