Mastra Platform erhält Metrics API für Token-Verbrauch, Kosten und Latenz

Was die Metrics API leistet

Laut Mastra zeigen Traces, was in einem einzelnen Durchlauf passiert ist, während Metriken über alle Durchläufe hinweg aggregieren. So lässt sich erkennen, welches Modell, welche Konversation oder welche Tool-Aufrufe am meisten kosten, am langsamsten laufen oder am häufigsten fehlschlagen. Abfragen lassen sich mit Zeiträumen und Statusfiltern kombinieren, sodass Teams Erkenntnisse gezielt herausziehen und teilen können.

Mastra zufolge wurden Metriken bereits Anfang des Jahres eingeführt, wobei Modellkosten, Latenz und Fehlerzahlen in der Mastra Platform und im Studio sichtbar sind. Mit der Metrics API können Nutzer nun eigene Abfragen erstellen, um individuelle Berichte zu generieren, Dashboards aufzubauen, Daten an nachgelagerte Dienste zu senden oder Warnungen an angebundene Chat-Plattformen zu schicken, wenn Modellkosten oder Fehlerraten steigen.

Das Unternehmen verweist zudem auf die Kombination mit Code Mode. Laut Mastra lassen sich damit Agenten bauen, die ihre eigenen Abfragen spontan zusammenstellen, um Fragen zu beantworten, Erkenntnisse zusammenzufassen oder PDFs für Teammitglieder und Stakeholder zu erzeugen.

So gelingt der Einstieg

Jede Metrikabfrage benötigt ein Plattform-Zugriffstoken und eine Projekt-ID, die bei jeder Anfrage mitgeschickt werden. Mastra stellt zwei regionale Basis-URLs für die Observability bereit: US unter https://observability.mastra.ai und EU unter https://observability.eu.mastra.ai. Der Zeitstempelfilter ist optional. Werden Start und Ende weggelassen, liefern die Abfragen alle verfügbaren Daten.

• Mastra Client SDK: @mastra/client-js@latest installieren. Erforderlich ist Version 1.9.0 oder neuer, hinzugefügt mit PR #14270.
• Mastra CLI: mastra@latest global installieren. Erforderlich ist Version 1.9.2 oder neuer, hinzugefügt mit PR #16563. Die Befehle mastra api metric lesen MASTRA_PLATFORM_ACCESS_TOKEN und MASTRA_PROJECT_ID aus der Umgebung.
• Observability-Endpunkte: eine POST-Anfrage an einen der Metrics-API-Endpunkte senden und Zugriffstoken sowie Projekt-ID in den Request-Headern mitgeben.

In den Beispielen von Mastra werden der gesamte Token-Verbrauch und die geschätzten Kosten über 30 Tage abgefragt, jeweils mit Vergleich zum Vorzeitraum. Alle Antworten kommen als JSON. In der Beispielantwort beträgt der Wert 6332830 Token bei geschätzten Kosten von 14,66 USD, gegenüber einem Vorwert von 866647, was einer Veränderung von 630,7 Prozent entspricht. Die geschätzten Kosten des Vorzeitraums und die Kostenveränderung sind in diesem Beispiel null.

Beispielabfragen

Mastra zeigt mehrere Abfragetypen, die alle mit dem Client SDK geschrieben sind, laut Unternehmen aber ebenso über die CLI und die Endpunkte nutzbar sind.

• Kosten nach Token-Typ: jeden Token-Typ einzeln abfragen, da Cache-Schreibvorgänge, Cache-Lesevorgänge und Ausgabe-Token unterschiedlich bepreist sind.
• Kosten nach Konversation: den Token-Verbrauch nach threadId gruppieren, um Konversationen nach Kosten zu ordnen. Die Gruppierung nach Modell liefert die Kosten je Modell, die Gruppierung nach rootEntityName die Kosten je Agent oder Workflow.
• Token pro Tag: Eine Zeitreihe mit einem Intervall von 1d liefert den täglichen Verbrauch.
• Latenzperzentile: p50- und p95-Laufzeiten von Agenten pro Tag lassen sich mit der Metrik mastra_agent_duration_ms abfragen.
• Fehlgeschlagene Durchläufe: Duration-Metriken zählen, gefiltert nach dem Status-Label error.

Was das für Teams bedeutet

Für Teams, die Agenten in der Produktion betreiben, macht die API aus Metriken, die bereits in der Plattform sichtbar sind, abfragbare Daten, die sich anderswohin weiterleiten lassen. Die Kostenverfolgung nach Modell, Konversation, Agent oder Workflow sowie Latenzperzentile und Fehlerzahlen können interne Dashboards, Berichte und Chat-Warnungen speisen. Die Dokumentation von Mastra beschreibt alle Konfigurationsoptionen, darunter eine Referenz für Metrikabfragen und eine CLI-Referenz.