Gradium TTS erreicht auf Baseten 155 ms bis zum ersten Audio

Ein TTS-Modell für Sprachagenten

Gradiums Text-to-Speech-Modell wandelt geschriebenen Text in gesprochenes Audio um und wurde gezielt für Echtzeit-Interaktionen mit KI-Sprachagenten entwickelt. Die zentrale Kennzahl ist die Time-to-First-Audio (TTFA), also die Zeit zwischen dem Senden einer TTS-Anfrage und dem Eintreffen des ersten abspielbaren Audios. Baseten bezeichnet sie als entscheidend für natürlich klingende Gespräche.

Im Coval-TTS-Benchmark erreichte Gradium TTS laut Messung vom 4. Mai 2026 eine Median-TTFA von 155 ms bei einem Interquartilsabstand von nur 2 ms. Diese geringe Streuung sei eng genug, damit Entwickler im Rest ihrer Pipeline verlässliche Latenzbudgets festlegen können, so Baseten. Das Ergebnis ordne das Modell zudem in die Klasse ein, die schneller ist als menschliche Sprache. Sprachagenten bleibe dadurch Zeit zum Nachdenken oder zum Abrufen von Kontext, ohne dass der Gesprächsfluss abreißt.

So funktioniert Delayed Streams Modeling

Gradium TTS ist ein Streaming-Modell. Es kann zu sprechen beginnen, bevor der vorgelagerte Textgenerator, etwa ein LLM, seine Antwort fertig erzeugt hat. Grundlage ist Delayed Streams Modeling (DSM), ein von Kyutai entwickeltes Framework. DSM behandelt Text und Audio als zwei parallele Datenströme auf einer gemeinsamen Uhr mit einem Schritt alle 80 ms.

Der Audiostrom läuft dem Text einige Schritte hinterher, sodass das Modell sieht, was als Nächstes kommt, ähnlich wie ein Mensch Tonfall, Betonung und Tempo an die folgenden Wörter anpasst. Eine längere Verzögerung gibt dem Modell mehr Kontext und bessere Stimmqualität, eine kürzere senkt die Latenz. Laut Quelle beginnt Gradium TTS nach den ersten Tokens zu sprechen und nicht erst nach der vollständigen Generierung.

Jeder 80-ms-Audioframe wird von zwei Transformern erzeugt:

• Temporal Transformer (der „Leser“): nimmt das neueste Text-Token und den vorherigen Audioframe auf, erzeugt einen Vektor, der beschreibt, wie der nächste Frame klingen soll, und signalisiert, wann er bereit für das nächste Wort ist. So bleibt die Sprache auch bei unregelmäßig eintreffendem Text natürlich getaktet.
• Depth Transformer (der „Verfeinerer“): wandelt diesen Vektor in einen Audioframe um, der mit bis zu 32 Tokens kodiert ist. Das erste Token erfasst die wichtigsten Merkmale, jedes weitere ergänzt feinere Details.

Der größere Temporal Transformer läuft einmal pro Schritt. Der kleinere Depth Transformer läuft bis zu 32-mal pro Schritt, bleibt aber günstig, weil er nie in der Zeit zurückblickt.

GPU-Optimierungen für kleine Modelle

Baseten erklärt, dass bei großen Sprachmodellen die GPU der Engpass ist, sodass die CPU den nächsten Kernel-Start einreihen kann, bevor der aktuelle beendet ist. Bei kleineren Modellen wie Streaming-TTS sind die GPU-Kernel dagegen schneller fertig, als die CPU sie einreihen kann. Die CPU wird dann zum Latenzengpass, und die GPU-Auslastung sinkt.

Gradium geht dieses Problem auf zwei Wegen an:

• Kernel-Fusion: Mit torch.compile und Triton werden Operationen, die zuvor mehrere GPU-Kernel-Starts benötigten, zu einem zusammengeführt.
• CUDA Graphs: Die gesamte Kernel-Abfolge eines Forward-Schritts wird einmal aufgezeichnet, in jedem weiteren Schritt gibt die CPU nur noch einen einzigen Replay-Befehl aus.

In Gradiums veröffentlichten Benchmarks senkte der Einsatz von CUDA Graphs die Median-TTFA bei kleinen Batch-Größen um mehr als das 2,5-Fache.

Lastspitzen abfangen mit schnelleren Kaltstarts

Der Datenverkehr bei Voice-KI ist oft stoßartig: hohe Nachfrage zu Beginn der Geschäftszeiten und bei Ereignissen wie Ausfällen oder Marketingkampagnen. Wer für die Spitze plant, lässt GPUs ungenutzt, wer für den Durchschnitt plant, verschlechtert die Leistung zu Beginn jeder Lastspitze. Autoscaling hilft, doch ein neues Replikat kann erst Anrufe bedienen, wenn seine Modellgewichte in den GPU-Speicher geladen sind.

Das Baseten Delivery Network (BDN) verkürzt die Kaltstartzeit auf drei Wegen:

• Push-time Mirroring: Die Gewichte werden beim Deployment mit einem inhaltsbasiert gehashten Manifest in Baseten-verwalteten Speicher kopiert, sodass die Upstream-Quelle nur einmal belastet wird.
• Dreistufiges Caching: Jeder GPU-Knoten prüft zuerst die lokale NVMe-Platte, dann einen Peer-Cache im Cluster und schließlich den gespiegelten Ursprung. So erreichen die Gewichte H100-Knoten mit über 2 GB/s.
• Koordinierte Downloads: Jeder Chunk wird von einem Knoten vom Ursprung geholt und mit den Peers geteilt, sodass die Ursprungsbandbreite bei einer Skalierung auf 50 Replikate dem 1-Fachen der Modellgröße entspricht, nicht dem 50-Fachen.

Weil die Gewichte vor dem Start des Modell-Containers eintreffen, findet die Übertragung zudem außerhalb des abrechenbaren GPU-Zeitfensters statt. Das Ergebnis seien 2- bis 3-mal schnellere Kaltstarts, so Baseten.

Was das für Entwickler bedeutet

Gradium TTS ist ab sofort als dedizierte Bereitstellung auf Baseten verfügbar. Für Teams, die Sprachagenten bauen, zielt die Kombination auf zwei Probleme: schnelles erstes Audio bei jeder Interaktion und die Fähigkeit, plötzlichen Schwankungen im Anrufvolumen zu folgen, ohne dass Anrufer auf ein kaltes Replikat warten. Baseten bietet außerdem eine Demo namens TTS Latency Race samt Code-Repository an, mit der sich das Modell selbst testen lässt.