Perplexitys Decider-V1.2-Modelle sind jetzt im AI Gateway von Vercel verfügbar
Vercel hat zwei Entscheidungsmodelle von Perplexity, Decider V1.2 27B und Decider Flash V1.2 4B, in seinem AI Gateway verfügbar gemacht. Beide Modelle sind multimodal und für das Klassifizieren von Inhalten, das Routen von Anfragen sowie das Bewerten von Text, strukturierten Datensätzen und Bildern gedacht.
- Perplexity Decider V1.2 27B und Decider Flash V1.2 4B sind jetzt im AI Gateway von Vercel verfügbar.
- Beide multimodalen Modelle beantworten Boolean-, Choice- und Score-Fragen mit Wahrscheinlichkeiten.
- Das 27B-Modell zielt auf differenzierte Urteile und detaillierte Bewertungsraster, das 4B-Modell Flash auf umfangreiches Labeling, Filtern und Routen.
- Der Zugriff ist über das AI SDK, die Decisions API und die TypeSafe-kompatible API möglich.
- Laut Vercel wird die Inferenz zu den Preisen der Anbieter abgerechnet, ohne Aufschlag oder Plattformgebühr, auch bei BYOK.
Was die Modelle leisten
Laut Vercel beantworten die Modelle typisierte Fragen mit Wahrscheinlichkeiten statt mit Freitext. Unterstützt werden drei Fragetypen:
- Boolean: liefert die Wahrscheinlichkeit für „Ja“.
- Choice: wählt aus Kategorien, die der Entwickler festlegt.
- Score: bewertet Inhalte anhand eines geordneten Rasters.
Vercel zufolge können Anwendungen diese Ergebnisse nutzen, um ein Support-Ticket weiterzuleiten, ein beschädigtes Produkt zu markieren oder eine unsichere Entscheidung zur menschlichen Prüfung weiterzureichen. Mehrere Fragen können sich in einer einzigen Anfrage dieselbe Eingabe teilen.
Zwei Größen für unterschiedliche Workloads
Decider V1.2 27B mit der Modell-ID perplexity/pplx-decider-v1.2 ist das größere der beiden Modelle. Vercel empfiehlt es für differenzierte Urteile und detaillierte Bewertungsraster.
Decider Flash V1.2 4B mit der ID perplexity/pplx-decider-flash-v1.2 ist das kleinere Modell. Es zielt auf umfangreiches Labeling, Filtern und Routen, wenn die Kriterien klar sind.
Beide Modelle lassen sich im Modell-Playground des AI Gateway ausprobieren. Zum Durchstöbern der verfügbaren Optionen verweist Vercel auf einen Katalog der Entscheidungsmodelle.
So rufen Entwickler die Modelle auf
Vercel zeigt dieselbe Prüfung eines Lieferberichts über drei Schnittstellen: das AI SDK, die Decisions API und die TypeSafe-kompatible API. Im Beispiel für das AI SDK importiert ein Entwickler experimental_decide aus dem Paket ai und übergibt die Modell-ID, einen State-String und eine Reihe von Fragen. Der Beispiel-State lautet „The tablet arrived with a shattered display and will not turn on.“ Definiert ist eine einzelne Boolean-Frage, nämlich ob der Text eine beschädigte Lieferung meldet. Das Ergebnis wird aus result.answers.damaged ausgelesen.
Für Bildeingaben betten Entwickler base64-kodierte image_url-Objekte in den JSON-State ein, entweder über das AI SDK oder über die TypeSafe-kompatible API. Für Anfrageformate und Fragetypen verweist Vercel auf Perplexitys Bildformat und die Dokumentation der Entscheidungsmodelle.
Preise und Monitoring
Das AI Gateway ermöglicht es Entwicklern, Modelle mit einem einzigen API-Schlüssel aufzurufen und Nutzung sowie Kosten an einer Stelle zu überwachen. Vercel erklärt, dass Entscheidungsanfragen in den Request-Logs erfasst und in den Ausgabenbudgets berücksichtigt werden. Die Inferenz wird zu den Preisen der Anbieter abgerechnet, ohne Aufschlag oder Plattformgebühr. Das gilt auch, wenn Entwickler über BYOK eigene Anbieter-Zugangsdaten verwenden.
Für Teams, die ihren Modellverkehr bereits über das AI Gateway leiten, bedeutet die Erweiterung laut Ankündigung, dass sich Klassifizierungs- und Routing-Aufgaben mit spezialisierten Entscheidungsmodellen unter demselben Schlüssel sowie denselben Logging- und Budgetkontrollen erledigen lassen. Benchmark-Ergebnisse oder konkrete Preise für die Modelle nennt die Quelle nicht.
