Mastra startet gehostete Observability-Plattform mit 100.000 kostenlosen Events pro Monat

Tracing und Monitoring für Agenten im Produktivbetrieb

Mastra Observability richtet sich an Agenten, die bereits live sind. Sobald ein Team ein Projekt verbunden hat, erfasst Mastra automatisch Traces von Agent-Läufen, Workflows und Tools. Die Einrichtung erfolgt über eine Observability-Konfiguration im Mastra-Projekt mit einem Plattform-Exporter. Nach Angaben des Unternehmens werden Traces gebündelt und asynchron im Hintergrund an die Plattform übertragen. Ein SensitiveDataFilter kann sensible Felder schwärzen, bevor Traces exportiert werden.

Nutzerinnen und Nutzer können Traces durchsuchen und filtern und anschließend Modell- und Tool-Aufrufe prüfen, um zu sehen, wo Zeit und Tokens verbraucht wurden und was sie gekostet haben. Eine Thread-Ansicht stellt jeden Lauf in den Kontext der gesamten Unterhaltung. Laut Mastra können so auch nicht technische Teammitglieder bei den Nachrichten beginnen und sich zu den zugrunde liegenden Schritten vorarbeiten, ohne zuvor einen rohen Span-Baum entschlüsseln zu müssen.

Fürs Monitoring können Teams Online-Scorer auf einer Stichprobe ihrer Traces laufen lassen, um die Korrektheit automatisch zu verfolgen. Ein Dashboard zeigt Trends im Zeitverlauf neben Leistungs- und Kostenkennzahlen.

Eval-Schleife, KI-gestütztes Debugging und CI-Prüfungen

Die Plattform unterstützt außerdem eine Eval-Schleife. Teams können Unterhaltungen prüfen, Traces annotieren und Datensätze zusammenstellen, dann ein Experiment auf einem Datensatz ausführen und Agent-Versionen nach Qualität, Kosten und Latenz vergleichen. Im Beispiel des Beitrags testete der Autor, ob ein Wechsel auf nano die Kosten senken könnte, ohne die Leistung zu beeinträchtigen, und stellte fest, dass das nicht der Fall war.

Mastra verweist auf wachsende Mengen an Trace-Daten, da Agent-Harnesses größere Aufgaben und längere Läufe übernehmen. Das Query-Traces-CLI gibt einem Coding-Agenten die Möglichkeit, langsame, teure oder fehlgeschlagene Läufe zu untersuchen und bei der Behebung der Ursachen zu helfen. Ein weiteres Feature, Trace Intelligence, befindet sich in der privaten Beta und ist auf Anfrage verfügbar. Es macht wiederkehrende Fehlermuster sichtbar, indem es Traces nach Zielen, Verhalten, Stimmung und Ergebnissen gruppiert, sodass Teams Korrekturen priorisieren und Beispiele für Evals auswählen können.

Evals lassen sich auch im Code ausführen. Gates and Verdicts wandeln Verhaltensprüfungen und Scorer-Schwellenwerte in ein Bestanden/Nicht-bestanden-Urteil um, auf das eine Testsuite prüfen kann. Das hilft, Regressionen in CI/CD vor der Auslieferung zu erkennen. Laut Mastra können Teams dies optional in eine GitHub Action einbetten, sodass jeder Pull Request die Evals ausführt und das Urteil als Check anzeigt.

Preise und Bedeutung für Teams

Mastra bietet jeden Monat 100k Observability-Events kostenlos an, mit 15 Tagen Aufbewahrung und ohne Kreditkarte. Zusätzliche Nutzung kostet 10 $ pro 100k Events. Der Teams-Tarif kostet 250 $ pro Monat und umfasst:

• 1 Mio. Events pro Monat
• sechs Monate Aufbewahrung
• mehrere Teams
• SSO
• SOC-2-Dokumentation

Zusätzliche Nutzung im Teams-Tarif kostet 8 $ pro 100k Events.

Für Teams, die bereits auf dem Mastra-Framework aufbauen, bündelt die Veröffentlichung Tracing, Scoring, Datensätze und CI-Prüfungen in einem gehosteten Produkt, das an ihr bestehendes Projekt gekoppelt ist. Mastra spricht zudem Teams an, die andere Tools nutzen: Es gibt eine Anleitung zum Import von Traces, und das Unternehmen bietet Hilfe bei der Übernahme von Traces und Datensätzen zu Mastra an.