Fish Audio startet Drama 3: Sprachmodell, das sich wie ein Schauspieler führen und nachträglich bearbeiten lässt

Eine Stimme inszenieren statt nur erzeugen

Fish Audio versteht sich als schnell wachsende KI-Plattform für Text-to-Speech, Speech-to-Text und Voice Cloning. Mit Drama 3 beschreiben Nutzer in einfacher Sprache, welchen Ton, welches Tempo und welchen Charakter sie wünschen, und verfeinern die Performance dann Zeile für Zeile, bis sie passt.

Als Anwendungsfelder nennt das Unternehmen unter anderem Hörspiele und interaktive Medien, Hörbücher und mehrsprachiges Dubbing, Spiele und Animation, KI-Companion-Erlebnisse sowie Plattformen für die Content-Erstellung. Die Beispiele des Unternehmens: Ein Hörspielstudio kann einen Streit zwischen zwei Figuren als eine einzige Szene inszenieren, ein Hörbuchsprecher kann mitten im Satz von ruhig zu zitternd wechseln, und ein Spieleteam kann ein einzelnes Wort im Dialog korrigieren, ohne den Clip neu zu rendern.

„Voice AI ist sehr gut darin geworden, Sprache zu erzeugen. Der nächste Schritt ist, eine Performance zu inszenieren“, sagte Rissa Cao, Mitgründerin und CEO von Fish Audio. Drama 3 nannte sie das „bislang ausdrucksstärkste und am besten steuerbare Modell“ des Unternehmens. Besonders wichtig sei es bei langen Projekten, bei denen ein falsches Wort nicht bedeuten dürfe, ein ganzes Kapitel neu zu generieren.

Vier neue Wege, eine Performance zu gestalten

Fish Audio nennt vier Funktionen von Drama 3:

• Regie in natürlicher Sprache: Eine Performance wird in einfacher Sprache beschrieben, und ein Satz lässt sich mitten in der Zeile ändern. So kann er ruhig beginnen und in Panik umschlagen, ohne dass ein neuer Take nötig ist.
• Dialoge mit mehreren Sprechern: Eine ganze Szene entsteht in einem Durchgang, wobei jede Figur ihre eigene Stimme behält und auf das reagiert, was die andere gerade gesagt hat.
• Audio-Inpainting: Man markiert den zu bearbeitenden Teil einer Performance und passt die Anweisungen an. Das Modell generiert nur diesen Abschnitt neu und lässt das umgebende Audio unangetastet.
• Konsistenz bei langen Texten und in mehreren Sprachen: Dieselbe Stimme und dieselbe Figur bleiben über lange Skripte hinweg erhalten, mitten in der Szene lässt sich die Sprache wechseln, und die Aussprache ist auf Phonemebene steuerbar, unter anderem in Englisch, Chinesisch, Japanisch und Koreanisch.

Anders als Modelle, die für lange Inhalte einzelne Anfragen aneinanderfügen, halte Drama 3 laut Unternehmen eine Performance über das gesamte Skript hinweg.

Shijia Liao, Mitgründer und Chief Scientist, sagte, Drama 3 „setzt auf eine neue Architektur, die bessere Kontrolle und ein genaueres Befolgen von Anweisungen ermöglicht“. Zur Bearbeitungsfunktion erklärte er, dass das Modell bei der Änderung eines einzelnen Wortes das Audio davor und danach berücksichtige und das neue Wort mit derselben Stimme, Stimmung und demselben Rhythmus einpasse. Das sei einer der schwierigsten Teile des Modells gewesen.

Unternehmenswachstum und Verfügbarkeit

Drama 3 folgt auf eine Reihe von Veröffentlichungen von Fish Audio, das in diesem Sommer sein einjähriges Bestehen feierte. In den vergangenen Monaten brachte das Team ein Speech-to-Text-Modell mit integrierter Sprechererkennung (Speaker Diarization), Fish Creative (einen gemeinsamen Arbeitsbereich für professionelle Content-Ersteller) sowie mobile Apps für iOS und Android heraus. Dem Unternehmen zufolge wurde der Vorgänger von Drama 3, S2.1 Pro, binnen drei Wochen nach dem Start zum am häufigsten angefragten Sprachmodell auf OpenRouter.

Fish Audio gibt außerdem an, in der Ahrefs-Liste der 50 am schnellsten wachsenden KI-Unternehmen auf Platz 1 gelandet zu sein, mit einem Plus von 740 % bei den Markensuchen im Jahresvergleich. Das Unternehmen berichtet von einem Wachstum von null auf 21 Millionen US-Dollar wiederkehrenden Jahresumsatz und von mehr als 15 Millionen Nutzern. Die 2025 gegründete Firma mit Sitz in Palo Alto, Kalifornien, ging aus dem Open-Source-Projekt Fish Speech hervor und nennt HeyGen, OpenArt, Vercel, Runway, Retell, LiveKit und Sanas als Teams, die ihre Plattform nutzen.

Drama 3 ist ab sofort unter fish.audio verfügbar. In den ersten 30 Tagen gibt es auf die API-Nutzung 80 % Rabatt, und Unternehmen, die von einem anderen Sprachanbieter wechseln, erhalten die ersten drei Monate kostenlos. Details zu den Preisen finden sich unter fish.audio/plan.

Was das für Kreative und Entwickler bedeutet

Im Mittelpunkt steht das Bearbeiten statt des erneuten Generierens. Für Teams, die lange Hörbücher, synchronisierte Inhalte oder Spieldialoge produzieren, könnte es den Nachbearbeitungsaufwand verringern, wenn sich eine Zeile oder ein Wort korrigieren lässt, ohne den ganzen Take zu wiederholen, sofern die Angaben von Fish Audio in der Praxis zutreffen. Szenen mit mehreren Sprechern in einem Durchgang und die Aussprachesteuerung auf Phonemebene decken weitere typische Anforderungen in der Produktion ab. Die Rabatte zum Start geben Entwicklern und Unternehmen ein kurzes Zeitfenster, das Modell gegen ihre aktuellen Sprachanbieter zu testen.