LiveKit startet Agent Simulations: Voice Agents testen, bevor Kunden die Fehler finden

Warum Voice Agents schwer zu testen sind

LiveKit argumentiert, dass der Happy Path beim Testen eines Voice Agents der einfache Teil ist und oft der einzige, der überhaupt getestet wird. Echte Anrufer haben womöglich eine schlechte Verbindung, sprechen leise, nennen eine Kontonummer in drei Teilen mit einer Zwischenfrage oder versuchen, den Agenten etwas sagen zu lassen, was er nicht sagen sollte. Genau in diesem langen Schwanz an Sonderfällen scheitern Agenten laut dem Unternehmen im Produktivbetrieb.

Das Sprachmodell im Kern verschärft das Problem, denn dieselbe Eingabe führt nicht immer zur selben Ausgabe. Manuelles Testen bedeutet, den eigenen Agenten immer wieder anzurufen. Das skaliert laut LiveKit weder mit der Zahl der Aufgaben, die ein Agent erledigt, noch mit den Sprachen seiner Nutzer.

Das Framework LiveKit Agents unterstützt bereits Tests Zug um Zug, doch laut LiveKit lässt sich damit die Unberechenbarkeit eines echten Gesprächs nicht nachbilden. Agent Simulations arbeitet stattdessen auf Aufgabenebene: Man beschreibt die Aufgabe des Nutzers, und der Agent wählt den Weg, den er zur Erledigung braucht.

So funktionieren die Simulationen

Ein LLM-gesteuerter Nutzer spielt jedes Szenario von Anfang bis Ende durch. Für jedes Szenario können Entwickler Persönlichkeit, Ziele und Verhalten des simulierten Nutzers festlegen. Sobald das Gespräch an einem natürlichen Ende angelangt ist, bewertet ein LLM-basierter Judge das Transkript anhand frei formulierter Erwartungen des Entwicklers und vergibt ein Pass/Fail-Urteil samt Begründung. Die Szenarien laufen parallel, Ergebnisse, Transkripte und Traces erscheinen im LiveKit-Cloud-Dashboard.

Entwickler müssen Szenarien nicht von Grund auf schreiben. Der CLI-Befehl lk agent simulate -n 10 veranlasst das Szenario-Generierungstool von LiveKit, den Code des Agenten zu lesen und Szenarien auf Basis seiner tatsächlichen Prompts, Tools und Gesprächslogik zu erzeugen. Laut LiveKit erhält man so binnen Minuten eine Erfolgsquote für Pfade, die man nie erkundet hat, ohne selbst einen Anruf zu tätigen.

Generierte Szenarien sind als Ausgangspunkt gedacht. LiveKit empfiehlt, jene zu behalten, die Probleme aufdecken, die übrigen anzupassen und eigene Fälle hinzuzufügen. Eine eingecheckte Datei scenarios.yaml wird zur maßgeblichen Quelle und lässt sich zusammen mit dem Agenten versionieren. Jedes Szenario bleibt in der Suite, sodass Prüfungen für frühere Funktionen automatisch laufen, wenn neue hinzukommen. Das sei wichtig, so LiveKit, weil ein Voice Agent keine Oberfläche hat, auf die man schnell schauen könnte, anders als bei einer Web-App, wo eine Regression womöglich sichtbar ist.

Text- und Audiomodus

Textsimulationen überspringen die Sprachmodelle und testen nur die Gesprächslogik. Sie sind der Standard, schnell und im großen Maßstab kostengünstig. LiveKit zufolge werden sie mit niedriger Priorität eingeplant und in freie Kapazitäten des Inferenzkontingents getaktet, sodass sie nicht mit Live-Traffic konkurrieren. Sie sind günstig genug, um bei jedem Pull Request zu laufen, und ein fehlgeschlagenes Szenario lässt die CLI einen Exit-Code ungleich null zurückgeben, was den Build scheitern lässt.

Audiosimulationen decken die gesamte Audio-Pipeline ab, einschließlich Hintergrundgeräuschen, Unterbrechungen und Backchanneling, also der Laute, die ein Zuhörer von sich gibt, während der andere noch spricht. Sie funktionieren mit kaskadierten sowie mit Speech-to-Speech- bzw. Full-Duplex-Agenten. Sie laufen in Echtzeit und werden höher abgerechnet als Text, weshalb LiveKit einen nächtlichen Lauf oder einen Lauf vor dem Release empfiehlt.

Der simulierte Anrufer ist so angelegt, dass er sich wie ein echter verhält. Er setzt kleine Laute dort ein, wo ein Zuhörer sie machen würde, statt sie nach einem Timer abzuspielen. Gegen Ende eines Redebeitrags verwendet er nur „mm-hmm“ und „uh-huh“ und lässt „okay“ weg, damit ein Backchannel nicht versehentlich die Frage des Agenten beantwortet.

Verfügbarkeit und Bedeutung für Entwickler

Laut LiveKit ist Agent Simulations bis Oktober kostenlos. Die Simulationen führen den echten Agenten aus, daher wird das LLM des Entwicklers wie gewohnt aufgerufen, im Audiomodus ebenso STT und TTS, alles zu regulären Preisen abgerechnet. Zum Einstieg braucht es die LiveKit CLI, aktivierte LiveKit Observability und ein LiveKit-Cloud-Projekt.

LiveKit zufolge hat Serve AI mithilfe von Simulationen eine komplette Neufassung seines Agenten anhand von hundert echten Produktivanrufen validiert, bevor Traffic umgeleitet wurde. Für Teams, die Voice Agents entwickeln, lautet das Versprechen: Sie können den Agentencode ändern, ohne sich zu fragen, was sie versehentlich kaputtgemacht haben, mit Tests, die in der CI bei jedem Pull Request laufen können.