Pydantic AI Gateway unterstützt jetzt Jev, das Klassifikationsmodell von TypeSafe

Was Jev kann und wie die Einrichtung funktioniert

Laut Pydantic ist Jev kein Chatmodell. Es nimmt einen Text und eine Reihe typisierter Fragen entgegen und liefert zu jeder Frage eine Antwort samt Wahrscheinlichkeit. Pydantic weist darauf hin, dass David Montague bereits gezeigt hat, wie sich Jev in Pydantic Evals als Judge einsetzen lässt, zu einem Preis von 0,042 US-Dollar pro Million Eingabe-Token.

TypeSafe ist ein Bring-your-own-key-Anbieter. In Pydantic Logfire öffnen Nutzer den Bereich Gateway, dann Providers, und fügen einen Anbieter hinzu, indem sie TypeSafe AI auswählen. Nachdem der TypeSafe-API-Schlüssel eingefügt und auf Test & continue geklickt wurde, fragt das Gateway mit diesem Schlüssel bei TypeSafe die verfügbaren Modelle ab. Ein fehlerhafter Schlüssel scheitert daher bereits in diesem Schritt und nicht erst bei der ersten Anfrage. Sobald der Anbieter benannt ist, ist die Einrichtung abgeschlossen.

Der Dialog „Connect“ verwendet standardmäßig jev-latest und liefert ein Code-Snippet, in dem der Gateway-Schlüssel des Nutzers bereits eingetragen ist.

Jev über das Gateway aufrufen

Jev nutzt die System One API von TypeSafe statt des OpenAI-Chatformats, deshalb leitet das Gateway Anfragen nativ weiter. Eine Anfrage geht an den Pfad /proxy/typesafe/v1/systemone des Gateways und wird mit dem Gateway-Schlüssel autorisiert. Das Wort typesafe in der URL ist der Routenname, der dem Anbieter zugewiesen wurde.

Der Anfragetext enthält den Modellnamen, ein Feld state und ein Objekt questions. Der State ist das Material, das beurteilt werden soll, und jeder Eintrag in questions ist eine Frage dazu. In Pydantics Beispiel wird der Text „Help! My payouts have been failing for 3 days.“ mit einer Frage namens is_urgent kombiniert, die danach fragt, ob der Text Dringlichkeit vermittelt.

Auch das TypeSafe-Python-SDK funktioniert. Nach der Installation mit uv add typesafe-sdk richten Nutzer base_url auf das Gateway und rufen system_one mit ihren Fragen auf. Die Antwort auf jede Frage lässt sich anschließend aus der Response auslesen.

Was das Gateway zusätzlich bietet

Pydantic zufolge ändert das Gateway weder die Kosten von Jev noch die Antwortgeschwindigkeit. Es ergänzt dieselben Kontrollmöglichkeiten, die auch für andere Anbieter zur Verfügung stehen:

• Kosten und Nutzung. Jede Anfrage wird erfasst, sodass Jev in derselben Kostenübersicht und unter denselben Limits wie Sprachmodelle erscheint.
• Guardrails. Eingabe-Guardrails prüfen State, Anweisungen und Kriterien, bevor die Anfrage an den Anbieter weitergeleitet wird.
• Ein Schlüssel. Die Anwendung hält einen Gateway-Schlüssel, keinen TypeSafe-Schlüssel.

Jev in Pydantic AI nutzen

Pydantic AI kann einen Agenten über TypeSafeModel auf Jev laufen lassen, wobei jedes Feld des Ausgabetyps zu einer Frage wird. Installiert wird es mit dem Extra typesafe: uv add "pydantic-ai-slim[typesafe]". Um den Datenverkehr über das Gateway zu leiten, werden dem Provider Gateway-Schlüssel und URL übergeben.

In Pydantics Beispiel hat ein Ticket-Modell ein boolesches Feld urgent und ein Feld area, das auf billing, bug, account oder other beschränkt ist. Bei der Nachricht „You have charged me twice and my account is now overdrawn.“ liefert der Agent urgent=True und area='billing'.

Was das für Nutzer bedeutet

Teams, die ihren Modellverkehr bereits über das Pydantic AI Gateway leiten, können Jev hinzufügen, ohne in der Anwendung einen separaten TypeSafe-Schlüssel verwalten zu müssen. Klassifikationsaufrufe werden zusammen mit Aufrufen von Sprachmodellen erfasst und begrenzt, und Eingabe-Guardrails greifen, bevor Anfragen TypeSafe erreichen. Nutzer, die auf Probleme stoßen, können laut Pydantic ein Issue eröffnen oder das Unternehmen in Slack kontaktieren.