Anam halbiert unerwünschte Avatar-Unterbrechungen mit Deepgram Flux

Das Problem mit dem Sprecherwechsel

Anam versteht sich als Anbieter der „Face Layer für Agenten“: fotorealistische, emotional ausdrucksstarke Avatare mit Antwortzeiten im Sub-Sekunden-Bereich und API-first-Bereitstellung. Laut Unternehmen bevorzugen 70 % der Nutzer sie gegenüber reinen Sprach- und Textschnittstellen.

Die Qualität dieses Erlebnisses hängt davon ab, ob ein Avatar ein natürliches Gespräch in Echtzeit führen kann. Alle paar Sekunden muss er entscheiden, ob ein Mensch fertig gesprochen hat oder nur kurz nachdenkt. Kunden beschrieben das als Problem der „Ohren“ der Avatare: Der Avatar müsse zuhören und nicht bloß Audio transkribieren.

Hinzu kommt, dass Anam latenzkritische Workloads mit hoher Parallelität betreibt. Jedes Speech-to-Text-Modell (STT) musste daher auf der eigenen Infrastruktur einsetzbar sein, statt einen zusätzlichen Netzwerksprung zu einer Drittanbieter-Cloud zu verursachen.

So hat Anam Flux getestet

Anam verglich Flux in A/B-Tests mit der Variante, die es am besten kannte: einem selbst gehosteten Open-Source-STT-Modell. Bewertet wurden die Kandidaten nach der Antwortlatenz der Transkription und der Zahl unerwünschter Unterbrechungen. Anschließend führte das gesamte Anam-Team Ende-zu-Ende-Gespräche mit den Agenten-Personas.

Die Anforderungen waren streng: präziser Sprecherwechsel bei unterschiedlichen Sprechstilen, geringe Latenz bei der Erkennung des Gesprächsendes, Robustheit gegenüber Hintergrundgeräuschen, die Möglichkeit zum Self-Hosting auf Anams Kubernetes-Cluster sowie eine Parallelität, die mit dem Wachstum skaliert. Laut Fallstudie meisterte Flux Sonderfälle in Gesprächen, mit denen das Open-Source-Modell nicht zurechtkam.

Anam-CTO Ben Carr sagte, das Team habe Flux auch mit der eigenen kaskadierenden Pipeline und mit Lösungen von Wettbewerbern verglichen. „Über verschiedene Sprechstile und Audiobedingungen hinweg war Flux bei Latenz und unerwünschten Avatar-Unterbrechungen durchweg überlegen“, sagte er.

In der Produktion fließt das Audio der Nutzer in Flux, das in Echtzeit transkribiert und meldet, wann der Nutzer seinen Redebeitrag tatsächlich beendet hat. Anams Sprachmodell und die Sprachausgabe bauen auf diesem Timing auf. Deepgram hebt drei Unterschiede hervor:

• Sprecher können mitten im Gedanken pausieren, ohne dass der Avatar einhakt. Das hilft langsameren Sprechern und Rollenspiel-Szenarien.
• Das Gesprächsende wird schnell genug erkannt, sodass der Avatar ohne Gesprächspausen antwortet.
• Geräusche, die nicht vom Nutzer stammen, werden ignoriert, sodass ein bellender Hund nicht mehr als Redebeitrag zählt.

Einsatz und Ergebnisse

Anam setzte Flux selbst gehostet auf dem eigenen Kubernetes-Cluster mit H100-GPUs ein, derselben Infrastruktur, die auf der gesamten Plattform genutzt wird. Nach der Validierung rollte das Unternehmen die Flux-Gesprächssteuerung für 100 % seiner Turnkey-Nutzer aus. Mit Deepgrams gehostetem Dienst dauerte es vom ersten Test bis zur Produktion nur Tage, das selbst gehostete Setup brauchte rund zwei Wochen.

Die zentralen Ergebnisse stammen aus Anams eigenen A/B-Tests: etwa 50 % weniger unerwünschte Avatar-Unterbrechungen und kein Latenznachteil, mit unveränderter p95 gegenüber den getesteten Alternativen. Beschwerden über die Genauigkeit des Sprecherwechsels in englischsprachigen Sitzungen mit Flux sanken auf nahezu null. Carr sagte, vor Flux habe Anam „zwischen hoher Latenz und unerwünschten Avatar-Unterbrechungen wählen müssen“, bei unterstützten Abläufen gebe es nun keine Beschwerden mehr über beides.

Einige Kunden, die zuvor ihr eigenes STT genutzt hatten, wechselten zu Anams Turnkey-Angebot. Anam weist darauf hin, dass Kunden mit eigenem STT außerhalb der Pipeline stehen, was die Kontrolle über die Gesprächsqualität begrenzt.

Was das für Anam und seine Kunden bedeutet

Nach Angaben von Anam setzen Unternehmen die Avatare für kundennahe KI-Agenten sowie für Training und Simulation ein. Das Unternehmen nennt 44 % mehr Engagement, eine doppelt so schnelle Einführung und 25 % und mehr Conversion-Steigerung, wenn die Avatare im Vertriebszyklus eingesetzt werden. Die Fallstudie führt diese Zahlen nicht ausdrücklich auf Flux zurück.

Für die Zukunft erwartet Anam, dass Avatar-Erlebnisse mehrsprachiger, ausdrucksstärker und konfigurierbarer werden. Sobald Flux weitere Sprachen abdeckt, will das Unternehmen es standardmäßig breiter einsetzen. Zudem prüft es Deepgrams Flux-TTS-Angebot für die nächste Generation von Sprachqualität und Echtzeit-Präsenz der Avatare.