Baseten veröffentlicht mammoth-1 und elephant-1: zwei quelloffene Entscheidungsmodelle

Platzierungen und Verfügbarkeit

Baseten zufolge führt mammoth-1 den Jev Decision Index 0.4 mit 71,24 Punkten an, elephant-1 ist das beste 9B-Modell in diesem Index. Das Unternehmen ergänzt, dass elephant-1 insgesamt gemeinsam auf Platz 8 liegt. Im separaten Artificial Analysis Decision Index erreicht mammoth-1 65,9 Punkte, elephant-1 kommt auf 65,2. Baseten gibt an, dass elephant-1 dort gemeinsam mit dem bisher besten Modell, d1-ultra, auf Platz 1 liegt.

Beide Modelle sind als Open Source auf Hugging Face verfügbar. Außerdem lassen sie sich eine Woche lang kostenlos über die Baseten Model APIs testen, standardmäßig mit Zero Data Retention (ZDR). Baseten hat sie durch Post-Training von Qwen3.5-9B und Qwen3.5-27B entwickelt. Das Unternehmen verweist auf die Vorstellung von Jev und der System One API durch TypeSafe als Beginn von Entscheidungsmodellen als neuer Kategorie.

Was Entscheidungsmodelle leisten

Anders als generative LLMs erzeugen Entscheidungsmodelle keinen Text. Sie liefern eine Wahrscheinlichkeitsverteilung über die möglichen Antworten auf eine Frage: einen Wert für jede Option, wobei sich alle Werte zu 1 summieren. Baseten beschreibt drei Fragetypen:

• Choice: eine Option aus einer Liste auswählen, etwa welches Team für ein Ticket zuständig ist.
• Score: die Eingabe auf einer Skala bewerten, etwa ob ein Ticket geringe oder hohe Dringlichkeit hat.
• Boolean: mit Ja oder Nein antworten, etwa ob eine E-Mail ein Phishing-Versuch ist.

Baseten zufolge ist der Einsatz generativer LLMs für Klassifikationsaufgaben wie das Routing eines Tickets oder das Markieren von Spam teuer und langsam, weil der Rechenaufwand für die benötigte Ausgabe überdimensioniert ist. Zudem liefert die Textantwort kein verlässliches Maß für die Sicherheit. Entscheidungsmodelle verzichten auf die Textgenerierung, was sie laut Baseten im Produktivbetrieb günstiger und schneller macht. Im Vergleich zu einem Reasoning-Modell sei bis zu zehnmal höhere Geschwindigkeit möglich, so das Unternehmen.

Konfidenzschwellen lassen sich anpassen. Ein Support-Ticket kann etwa automatisch weitergeleitet werden, wenn das Modell zu 90 Prozent sicher ist, und bei geringerer Sicherheit an einen Menschen gehen. Die Modelle lassen sich zudem per Post-Training so anpassen, dass ihre Konfidenz besser widerspiegelt, wie oft sie richtigliegen. Als Anwendungsfälle nennt Baseten Ticket-Triage und -Routing, Spam- und Phishing-Erkennung, Prompt-Guardrails und Jailbreak-Erkennung sowie das Routing von Anfragen zwischen kleinen und Frontier-LLMs.

Training und Modellwahl

Baseten hat die Modelle als Generalisten für Aufgaben entwickelt, die vom Routing von Support-Tickets bis zur Sicherheitsprüfung von Anfragen reichen. Für Training und Evaluierung wurden Daten aus fünf Bereichen genutzt: Wissen und Reasoning, Sprache, Tools und Automatisierung, Retrieval und Klassifikation sowie Kunst und menschlicher Geschmack.

Beide Modelle wurden mit 6,21 Millionen Beispielen für Entscheidungsfindung feinabgestimmt. Der Datensatz kombinierte öffentliche Datensätze mit synthetisch erzeugten Beispielen, die grundlegende Entscheidungsfähigkeiten, Sicherheit und Enthaltung sowie Bewertung und Expertendomänen abdecken. Dazu gehörten Beispiele, die dem Modell beibrachten, mit "Ich weiß es nicht" zu antworten, wenn es sich der Richtigkeit seiner Antwort nicht sicher war. Details finden sich in einem technischen Bericht von Basetens Forschungslabor Base Labs.

Baseten empfiehlt mammoth-1 für Aufgaben, die mehr Allgemeinwissen erfordern, und elephant-1 für solche, bei denen vor allem schnelles Reasoning gefragt ist.

Was das für Teams bedeutet, die Entscheidungsmodelle evaluieren

Baseten weist darauf hin, dass die beiden Modelle Teil einer wachsenden Zahl von Entscheidungsmodellen sind, und rät Teams, Kandidaten am eigenen Workflow zu testen. Das Unternehmen nennt drei Kriterien: Genauigkeit, auch bei schwierigen Fällen; Konfidenz, also ob das Modell erkennt, wann es unsicher ist, sodass sich eine Schwelle für die Annahme oder Eskalation von Antworten festlegen lässt; sowie Geschwindigkeit und Kosten, gemessen als Latenz und Kosten pro Entscheidung bei erwartetem Traffic, einschließlich Wiederholungen und Fallbacks.

Dank offener Gewichte auf Hugging Face und einer kostenlosen Woche auf den Baseten Model APIs können Teams solche Vergleiche ohne vorherige Verpflichtung durchführen. Bei den Platzierungen handelt es sich um Basetens eigene Angaben zu Ergebnissen in Indizes Dritter.