Baseten-Entscheidungsmodelle Mammoth-1 und Elephant-1 kostenlos im AI Gateway
Vercel stellt die Entscheidungsmodelle Mammoth-1 und Elephant-1 von Baseten eine Woche lang kostenlos im AI Gateway bereit, der kostenlose Zugang läuft bis zum 27. Oktober. Die Modelle klassifizieren Texte, leiten Anfragen weiter und bewerten Inhalte anhand von Kriterien, die Entwickler selbst festlegen.
- Mammoth-1 (27B) und Elephant-1 (9B) von Baseten sind bis zum 27. Oktober kostenlos im Vercel AI Gateway verfügbar.
- Die Entscheidungsmodelle klassifizieren Texte, leiten Anfragen weiter und bewerten Inhalte anhand von Kriterien, die Entwickler selbst festlegen.
- Laut Vercel liegt Mammoth-1 im Jev Decision Index auf Platz 1, Elephant-1 teilt sich Platz 1 im Artificial Analysis Decision Index.
- Beide Modelle unterstützen ein Kontextfenster von 16k Token und liefern Auswahlentscheidungen, Wahrscheinlichkeiten und Scores.
- Eine Anfrage kann Choice-, Boolean- und Score-Fragen enthalten, den Schwellenwert für die Wahrscheinlichkeit legt die Anwendung fest.
Zwei Entscheidungsmodelle in zwei Größen
Mammoth-1 und Elephant-1 sind das, was Vercel als Entscheidungsmodelle bezeichnet. Laut Ankündigung klassifizieren sie Texte, leiten Anfragen weiter und bewerten Inhalte anhand von Kriterien, die Entwickler selbst definieren. Beschrieben werden sie nicht als allgemeine Chatmodelle, sondern als Werkzeuge, um strukturierte Entscheidungen zu einer Eingabe zu treffen.
Die beiden Modelle unterscheiden sich in der Größe. Mammoth-1 ist mit 27B Parametern die größere Variante, Elephant-1 ist mit 9B das kleinere Modell. Beide unterstützen ein Kontextfenster von 16k Token und liefern Auswahlentscheidungen, Wahrscheinlichkeiten und Scores.
Vercel nennt zudem Platzierungen in Benchmarks. Laut Ankündigung belegt Mammoth-1 Platz 1 im Jev Decision Index, Elephant-1 teilt sich Platz 1 im Artificial Analysis Decision Index. Es handelt sich dabei um Angaben aus der Ankündigung, die Quelle liefert keine weiteren Details dazu, wie die Rankings zustande kamen.
Mehrere Fragen in einer Anfrage
Ein zentrales Merkmal: Entwickler können in einer einzigen Anfrage mehrere Fragen zur selben Eingabe stellen. Vercel nennt drei Beispiele für Fragetypen:
- Choice: ein Support-Team auswählen.
- Boolean: prüfen, ob eine Nachricht eine Erstattungsanfrage enthält.
- Score: bewerten, wie dringlich eine Nachricht ist.
Da die Modelle Wahrscheinlichkeiten zurückgeben, legt die Anwendung selbst fest, welchen Schwellenwert sie ansetzt. Oberhalb des Schwellenwerts kann sie automatisch handeln, darunter lässt sich ein Ergebnis zur Prüfung weiterleiten.
Die zu verwendenden Modellnamen lauten baseten/mammoth-1 und baseten/elephant-1. Vercels Beispiel nutzt die experimentelle Funktion decide aus dem AI SDK. Der Beispielcode übergibt den Text "I was charged twice. Please refund the duplicate." als State, dazu eine Boolean-Frage namens refund, die abfragt, ob der Kunde eine Erstattung verlangt. Das Ergebnis wird anschließend aus result.answers.refund gelesen. Für Fragetypen und weitere Details zur Nutzung verweist die Ankündigung auf die Dokumentation der Entscheidungsmodelle.
Was das für Entwickler bedeutet
Das kostenlose Zeitfenster dauert eine Woche. Entwickler, die die Modelle für Aufgaben wie Ticket-Routing, Erkennung von Erstattungswünschen oder Dringlichkeitsbewertung ausprobieren möchten, können das bis zum 27. Oktober ohne Modellkosten im AI Gateway tun. Zu den Preisen nach diesem Datum macht die Ankündigung keine Angaben.
Das AI Gateway bietet eine einheitliche API, um auf Modelle zuzugreifen und Nutzung und Kosten zu verfolgen. Laut Vercel erscheinen Entscheidungsaufrufe in den Logs und zählen wie andere Modellanfragen auf Budgets an, sodass Teams sie genauso überwachen können wie ihre übrige Modellnutzung. Außerdem führt Vercel alle im AI Gateway verfügbaren Entscheidungsmodelle auf einer eigenen Seite auf.
