Mistral startet Voxtral 3 mit Voice-Agent-SDK und neuen Sprachmodellen

Eine Pipeline für Sprachagenten

Mistral zufolge bleibt es schwierig, Sprachagenten zu bauen, die zuhören, schlussfolgern, interagieren und komplexe Workflows bewältigen können. Ein verlässlicher Agent müsse aus Sicht des Unternehmens vier Dinge gleichzeitig leisten: über Sprachen, Akzente, Sprecher und Unterbrechungen hinweg präzise zuhören, verstehen, was Nutzer meinen, natürlich und mit Emotion sprechen und über angebundene Systeme mehrstufig handeln.

Voxtral 3 ist die Antwort des Unternehmens darauf. Das neue Voice-Agent-SDK vereint Zuhören, Schlussfolgern, Tool-Aufrufe und Sprechen in einem Echtzeit-Erlebnis. Laut Mistral können Agenten in Live-Gesprächen per Telefon oder Web Informationen abrufen, mit Geschäftssystemen interagieren und Aufgaben erledigen. Als Einsatzfelder nennt das Unternehmen Contact-Center-Agenten, Service-Desks, virtuelle Assistenten und freihändige Copiloten.

Mistral veranschaulicht das mit einer Demo, in der ein Anrufer einen Agenten bittet, eine französische Überweisung zu buchen. Der Agent ermittelt per Tool-Aufruf die Referenznummer, übersetzt die Bitte des Schreibens um eine dermatologische Einschätzung und bucht einen Termin.

Transkription: Small-, Mini- und Realtime-Modelle

Bei der Spracherkennung steht Voxtral Small Transcribe 3 an der Spitze. Mistral bezeichnet es als Stand der Technik bei mehrsprachiger Transkription und nennt Unterstützung für Diarisierung (wer hat was gesagt), Context Biasing und Erkennung des Gesprächsendes. Die Liste der unterstützten Sprachen ist auf 50 gewachsen, darunter 24 Amtssprachen der EU sowie viele ressourcenarme asiatische und indische Sprachen.

Laut Mistral erzielt die Small-Version Spitzenergebnisse bei Diarisierung und mehrsprachiger Transkription, auch in Englisch, Französisch und Spanisch, und übertrifft Whisper, Scribe v2 und Gemini 3.5 Transcribe. Die Mini-Variante hat 4 Milliarden Parameter und kostet nach Angaben des Unternehmens 0,0035 US-Dollar pro Minute.

Beide Modelle unterstützen Context Biasing: Schlüsselbegriffe und Freitext lassen sich übergeben, um die Erkennung von Fachvokabular zu verbessern. Mistral zufolge ermöglicht das den Produktiveinsatz mit domänenspezifischen Begriffen ohne Fine-Tuning.

Voxtral Realtime Transcribe 3 zielt auf agentische Anwendungen. Mistral sagt, es liefere hochwertige Transkription mit einer Latenz unter 500 ms in über 35 Sprachen, auch mit Diarisierung und Context Biasing. Die Vorhersage des Gesprächsendes nutzt akustische und semantische Informationen, um zu beurteilen, wann ein Nutzer fertig gesprochen hat. Laut Mistral hält das die Latenz niedrig und begrenzt zugleich vorzeitige Abbrüche, wenn Nutzer unterbrochen werden.

Sprachsynthese und Stimmanpassung

Voxtral Mini TTS 3 gibt es im Batch- und im Echtzeitmodus. Mistral zufolge erreicht es Spitzenwerte bei Ausdrucksstärke und Befolgen von Anweisungen für über 35 Sprachen und mehr als 50 Dialekte, mit Stimmen, die Emotion, Tempo und Betonung an den Gesprächskontext anpassen. Zu den expliziten Anweisungsvariablen zählen Emotion, Tempo und Betonung.

Beim Preis gibt Mistral an, dass Voxtral Speech 3 13 US-Dollar pro 1 Million Zeichen kostet und damit günstiger sei als vergleichbare Modelle von OpenAI TTS-1, Deepgram, ElevenLabs Flash und Gemini Flash.

Für professionelle Fälle, in denen einfaches Stimmklonen nicht ausreicht, bietet Mistral die Pro-Voice-Anpassung. Das Unternehmen sagt, sie könne aus nur 30 Minuten Audio den Charakter, die emotionale Bandbreite und den Sprechstil eines Sprechers sprachübergreifend nachbilden. Weitere genannte Funktionen sind das Befolgen individueller Prompt-Anweisungen, kontextbezogene Sprachsynthese und eine Vokabelbibliothek.

Was das für Unternehmen bedeutet

Mistral betont den souveränen Betrieb. Organisationen können die in der EU gehostete API nutzen oder Voxtral 3 auf eigener Infrastruktur betreiben. Laut Unternehmen behalten sie so die Kontrolle darüber, wo Audio verarbeitet wird, wie mit Daten umgegangen wird und ob Gespräche gespeichert werden.

Für Unternehmen, die Sprachassistenten für Telefon oder Web bauen, bündelt die Veröffentlichung Transkription, Sprachsynthese und Agenten-Tooling bei einem Anbieter, mit veröffentlichten Preisen pro Minute und pro Zeichen für die Mini-Modelle. Die Benchmark-Angaben stammen von Mistral selbst, weshalb Teams die Modelle mit ihren eigenen Sprachen und Fachbegriffen testen sollten.