Mastra führt Classifier ein: schnelle, planbare Entscheidungen mit Evaluationsmodellen

So funktionieren Classifier

Bei einem Classifier liefert der Entwickler Anweisungen, die beschreiben, was entschieden werden soll, sowie Kriterien, die festlegen, was geantwortet werden kann. Mastra unterstützt drei Fragetypen: choice (Auswahl), score (Bewertung) und boolean (Wahrheitswert).

• Eine Auswahl gibt einen der Kriterienschlüssel zurück.
• Ein Score gibt eine Position aus einer geordneten Liste zurück.
• Ein Boolean gibt die Wahrscheinlichkeit zurück, dass die Antwort wahr ist.

Ein einzelner Classifier kann mehrere Fragen unterschiedlicher Typen enthalten, die alle anhand derselben Eingabe ausgewertet werden. Jede Antwort ist unter dem vom Entwickler gewählten Fragenamen abrufbar. Sowohl Anweisungen als auch Kriterien akzeptieren jeden JSON-kompatiblen Wert, eine Kriterienbeschreibung kann also ein Objekt oder ein Array sein und nicht nur ein String.

Mastra hat zu dem Thema außerdem einen Workshop veranstaltet, der den Titel „Building a Classifier in Mastra with Jev“ trug.

Was sich gegenüber dem Prompting eines LLM ändert

Den bisherigen Ansatz beschreibt Mastra als mühsam. Wer aus einer festen Menge von Optionen auswählen wollte, musste ein LLM prompten, die Optionen beschreiben, das Ausgabeformat definieren und anschließend alles, was zurückkam, parsen und validieren.

Beim Classifier sind die Optionen die Kriterien. Die Antwort zeigt, warum die Entscheidung gefallen ist, indem sie für jede Option eine Wahrscheinlichkeit enthält. So kann der Anwendungscode entscheiden, was als Nächstes passiert. Bei einer Auswahlfrage erhält jeder Kriterienschlüssel eine Wahrscheinlichkeit, und die höchste bestimmt die Auswahl.

Einstieg und Routing-Beispiel

Laut Mastra setzt das Feature @mastra/[email protected] oder neuer voraus, hinzugefügt mit PR #24458. Entwickler installieren per npm @mastra/core und den Evaluationsmodell-Provider @ai-sdk/typesafe-ai.

Ein Classifier wird mit einer ID, einem Modell und einer oder mehreren Fragen definiert. In Mastras Beispiel nutzt ein Classifier namens marketing-classifier das Evaluationsmodell jev-latest und eine Frage namens route vom Typ choice. Die Kriterien ordnen drei Schlüssel Beschreibungen zu: pmmLaunchAgent für den Stand von Launches, releaseNotesAgent für das Verfassen von Release Notes und newsletterAgent für das Entwerfen des wöchentlichen Newsletters.

Classifier werden wie Agenten, Tools und Workflows in der zentralen Mastra-Instanz registriert. In der Beispielausgabe erhält der Schlüssel pmmLaunchAgent eine Wahrscheinlichkeit von 1, die anderen beiden jeweils 0, er wird damit zur Auswahl.

Ein Workflow kann dieses Ergebnis anschließend verwenden. In Mastras Beispiel ruft ein Marketing-Router-Workflow den Classifier auf, ordnet den gewählten Schlüssel zusammen mit der Nachricht des Nutzers zu und verzweigt zum passenden Agenten-Schritt: dem PMM-Launch-Agenten, dem Release-Notes-Agenten oder dem Newsletter-Agenten.

Was das für Entwickler bedeutet

Für Teams, die Agentensysteme auf Mastra bauen, bieten Classifier eine integrierte Möglichkeit, Anfragen zu routen oder Schritte zu steuern, ohne selbst geschriebenes Parsing und Validieren der Ausgabe. Weil jede Option mit einer Wahrscheinlichkeit kommt, kann der Code direkt auf das Ergebnis reagieren. Für alle Konfigurationsoptionen verweist Mastra auf die Referenzen zu Classifier, Workflow.classifier, ClassifierProcessor und createClassifierScorer.