Daily veröffentlicht PhoneLLM Alpha 2 mit zwei Open-Weights-Modellen für Sprachagenten

Zwei Modelle für unterschiedliche Prioritäten

PhoneLLM Mini behält die 30B/A3.5B-MoE-Architektur von Alpha 1. Daily empfiehlt es, wenn es vor allem auf Geschwindigkeit und Größe ankommt. PhoneLLM Max ist ein 120B/A12B-Modell für Einsatzfälle, die mehr Intelligenz und höhere Genauigkeit erfordern und dabei dennoch eine Inferenzgeschwindigkeit liefern, die das Unternehmen als branchenführend bezeichnet.

Neben Genauigkeitsgewinnen durch einen erweiterten Datensatz nennt Daily drei zentrale Änderungen in Alpha 2: Microthinking in PhoneLLM Max, Unterstützung für Pipecat Flows und eine geringere Empfindlichkeit gegenüber unterschiedlichen Prompting-Stilen.

Microthinking und Pipecat Flows

Die meisten Reasoning-LLMs erzeugen pro Anfrage Absätze oder sogar seitenweise Gedankengänge, was Kosten und Latenz erhöht. Daily zufolge hat es einen messbaren Effekt darauf, ob PhoneLLM Max die richtigen Tools aufruft, wenn das Modell nur einen einzigen Satz Reasoning ausgibt. Das Unternehmen beschreibt dies als Kompromiss zwischen vollständigem Reasoning und deaktiviertem Reasoning und gibt an, dass ein Satz bei der Inferenzgeschwindigkeit von PhoneLLM die Antwortzeit kaum beeinflusst.

Pipecat Flows ist ein Framework für strukturierte Gespräche mit Voice Agents. Ein programmatischer Harness führt das Modell durch eine komplexe Abfolge von Schritten und hält dabei jeden einzelnen Schritt einfach. Daily argumentiert, dass sich das für kleinere, günstigere Modelle eignet. Alpha 2 wurde mit synthetischen Pipecat-Flows-Sitzungen trainiert, kennt das Format daher bereits und lässt sich laut Unternehmen als Drop-in-Ersatz für größere Modelle einsetzen.

In Tests mit echten Kunden bringt PhoneLLM Max laut Daily Anrufe in Flows häufiger zu einer erfolgreichen Lösung als GPT-4.1, bei etwa halber Latenz und einem Bruchteil der Kosten.

Der Trainingsdatensatz deckt nun mehr Anwendungsfälle und Prompting-Stile ab, was laut Daily weniger Aufwand beim Feinjustieren von Prompts bedeuten soll.

Aktualisierter Benchmark PhoneBench

Daily hat außerdem PhoneBench aktualisiert, um Fälle abzudecken, mit denen das Vorgängermodell Schwierigkeiten hatte. Der Benchmark prüft nun, ob das Modell frühere Fehler im Gespräch korrigieren kann, Abfolgen von Anweisungen befolgt und Pipecat-Flows-Szenarien bewältigt. Er weist getrennt aus, wie oft das Modell beim Aufruf eines Tools Fehler macht und wie oft ihm im Verlauf eines Gesprächs ein gravierender Fehler jeglicher Art unterläuft.

Wo und wie sich das Modell betreiben lässt

Die Daily-Partner AWS, Baseten, Cloudflare und Modal bieten PhoneLLM als Click-to-deploy-Modelle und als gehostete API-Endpunkte an. Auf der Plattform Workers AI von Cloudflare kostet PhoneLLM Mini 0,06 US-Dollar pro Million Input-Token und 0,24 US-Dollar pro Million Output-Token. Modal bietet optimierte Endpunkte für Mini und Max.

Die Gewichte stehen für das Self-Hosting in mehreren Formaten bereit:

• PhoneLLM Mini NVFP4, passt auf eine NVIDIA RTX 5090
• PhoneLLM Max NVFP4, passt auf einen NVIDIA DGX Spark
• PhoneLLM Mini FP8, für NVIDIA H100
• PhoneLLM Mini BF16 und PhoneLLM Max BF16, empfohlen für den Produktionsbetrieb in großem Maßstab

Für vLLM rät Daily, die Temperatur auf 0,0 zu setzen sowie Reasoning bei Mini auszuschalten und bei Max einzuschalten, um Microthinking zu aktivieren. Auf einer B200-GPU maß das Unternehmen bei Mini 17 ms bis zum ersten Token und einen aggregierten Decode-Durchsatz von 10k tok/s. Max wurde auf 2x B200 getestet und dürfte auf 2x B300 ähnlich abschneiden, mit einer TTFT von etwa 27 ms und einem aggregierten Decode-Durchsatz von rund 6k tok/s. Max unterstützt zudem MTP, das laut Daily die Decode-Geschwindigkeit verdoppeln kann, wenn nur wenige parallele Aufrufe aktiv sind. Max setzt aktiviertes Thinking voraus; Daily erwägt, künftige Versionen so zu trainieren, dass sie sowohl mit als auch ohne Thinking funktionieren.

So wurde das Modell trainiert

Mini basiert auf NVIDIAs Nemotron 3 Nano mit 30B Gesamtparametern und 3,5B aktiven Parametern. Max baut auf Nemotron Super 3.5 VL auf, einem 120B-Modell mit 12B aktiven Parametern. Das Training nutzt NVIDIAs NeMo Framework, darunter Megatron Bridge und NeMo RL, und Max benötigt 16x B300-GPUs auf zwei Maschinen.

Die Daten sind vollständig synthetisch und sollen reale Voice-Agent-Anwendungsfälle nachbilden. Open-Weights-Teacher-Modelle erzeugen Antworten, die das Student-Modell nachahmen lernt, und zwar über verschiedene Prompting-Stile, Toolsets und Harnesses wie Pipecat Flows hinweg. Bei den bisherigen Releases handelt es sich um Full-Weights-Fine-Tunes per SFT. Daily hat durch eine abschließende GRPO-Stufe Verbesserungen beobachtet und will sie in künftigen Releases voraussichtlich aktivieren, sobald das Unternehmen von der Qualität überzeugt ist.

Was das für Entwickler bedeutet

Für Teams, die Voice Agents bauen, bietet Alpha 2 Open-Weights-Optionen in zwei Größen, mit gehosteten Endpunkten mehrerer Anbieter und Self-Hosting auf Hardware von einer einzelnen RTX 5090 bis zu B200-Clustern. Der Vergleich mit GPT-4.1 und die Geschwindigkeitsangaben stammen aus Dailys eigenen Tests, in anderen Setups können die Ergebnisse daher abweichen.