Baseten startet joey-1: Entscheidungsmodell mit 2 Mrd. Parametern und 20 ms Latenz

Was joey-1 leistet

Viele LLM-Aufgaben erfordern keinen generierten Text, sondern eine Entscheidung: Wohin soll ein Support-Ticket weitergeleitet werden, soll eine Nachricht markiert werden oder soll eine Anfrage genehmigt werden? Baseten argumentiert, dass LLMs solche Fragen bislang durch das Generieren von Text beantworten, was bei jedem Aufruf Kosten und Latenz verursacht. Bei Entscheidungsketten summiere sich dieser Mehraufwand mit jeder Entscheidung.

Entscheidungsmodelle funktionieren anders. Laut Baseten liefern sie die Antwort direkt als einzelnes Token samt Konfidenzwert, und zwar in einem einzigen Forward Pass. Dadurch sollen Kosten und Latenz deutlich sinken.

joey-1 ist das kleinste und schnellste der Entscheidungsmodelle von Base Labs. Baseten zufolge ist es fünfmal schneller als vergleichbare Entscheidungsmodelle. In internen Tests, deren Details noch veröffentlicht werden sollen, bezeichnet das Unternehmen joey-1 als das stärkste Entscheidungsmodell mit höchstens 3 Milliarden Parametern.

Tempo, Preis und Modellfamilie

Für den Betrieb im Produktionsmaßstab nennt Baseten bei der durchschnittlichen Anfrage mit 2.000 Tokens folgende Werte:

• P50-Latenz von 20 ms (Ende-zu-Ende) für joey-1, rund 2,5-mal schneller als elephant-1 mit 49 ms
• Ein Preis von 0,01 US-Dollar pro Million Tokens, ein Zehntel der Kosten von mammoth-1

Die Veröffentlichung folgt acht Tage nach mammoth-1 (27B) und elephant-1 (9B), die Baseten als die auf Platz 1 gelisteten Entscheidungsmodelle bezeichnet. Mit joey-1 umfasst die Base-Labs-Familie nun drei Größen. Alle drei verarbeiten Text und Bilder, wurden mit derselben Datenmischung trainiert und teilen sich dieselbe API, sodass der Wechsel zwischen ihnen laut Unternehmen nur eine Zeile Code erfordert.

Baseten positioniert mammoth-1 für Entscheidungen, bei denen es auf höchste Genauigkeit ankommt, elephant-1 als ausgewogene Standardwahl und joey-1 für Aufrufe mit hohem Volumen und strengen Latenzanforderungen. Außerdem empfiehlt das Unternehmen, joey-1 als erste Instanz einzusetzen und bei Unsicherheit an elephant-1 oder mammoth-1 zu eskalieren.

Wann sich der Umstieg lohnt

Baseten sieht joey-1 in zwei Fällen als sinnvoll an: wenn das Entscheidungsvolumen hoch ist und die Kosten pro Aufruf über die Wirtschaftlichkeit eines Projekts entscheiden, und wenn die Entscheidung Voraussetzung für einen weiteren Schritt ist, sodass ihre Latenz bei jeder Antwort hinzukommt.

Als Beispiel rechnet das Unternehmen vor: Werden monatlich 10 Millionen Support-Tickets mit je etwa 500 Tokens klassifiziert, ergibt das 5 Milliarden Tokens. Das kostet mit joey-1 rund 50 US-Dollar im Monat, mit mammoth-1 dagegen 500 US-Dollar.

Bereitstellung, Fine-Tuning und Verfügbarkeit

joey-1 wurde von Base Labs, dem hauseigenen Forschungslabor von Baseten, auf Basis von Qwen3.5-2B nachtrainiert (Post-Training). Dabei kamen dieselben Daten und dasselbe Rezept wie bei elephant-1 und mammoth-1 sowie Baseten Training Jobs zum Einsatz. Auf den Model APIs unterstützen die Modelle ein Kontextfenster von 16k und sind auf niedrige Latenz optimiert. Dedizierte Deployments schalten das volle Kontextfenster von 262k frei, unterstützen fein abgestimmte Gewichte und können durch workloadspezifische Optimierungen und die Co-Location mit den LLM-Workloads eines Kunden eine schnellere TTFT und höhere TPS erreichen.

Entwickler, die eigene Gewichte wünschen, können elephant-1 und joey-1 mit Training Jobs nachtrainieren; Baseten verweist dazu auf ein Fine-Tuning-Cookbook. joey-1 ist auf den Baseten Model APIs verfügbar, standardmäßig mit Zero Data Retention.

Für Teams, die Klassifizierung, Routing oder Moderation in großem Maßstab betreiben, bietet die Veröffentlichung eine günstigere und schnellere Option für solche Aufrufe. Die Benchmark-Details hinter den Angaben des Unternehmens sind allerdings noch nicht veröffentlicht.