Mastra ergänzt Observability-Alarme für Kosten, Fehler und Evaluierungswerte

Mastra Platform ermöglicht Nutzern nun, Observability-Alarme für Modellkosten, Fehlerraten, Latenz, Token-Nutzung und Evaluierungswerte zu erstellen. Benachrichtigungen können an Slack, Discord, Microsoft Teams, E-Mail, Webhooks, PagerDuty oder incident.io gesendet werden.
- Mastra Platform unterstützt Alarme für Kosten, Fehler, Latenz, Token-Nutzung und Evaluierungswerte.
- Benachrichtigungen können an Slack, Discord, Microsoft Teams, E-Mail, Webhooks, PagerDuty oder incident.io gesendet werden.
- Schwellenwerte können für den passenden Datenverkehr insgesamt oder nach Agent, Tool, Modell oder Nutzer geprüft werden.
- Mastra prüft aktivierte Regeln alle fünf Minuten.
- Nur Organisationsadministratoren können Alarme erstellen, bearbeiten und löschen.
Alarme decken Agentenverhalten und Ausgaben ab
Mastra zufolge sollen die Alarme erkennen, wenn sich das Verhalten eines Agenten außerhalb der von den Nutzern festgelegten Grenzen bewegt, während der zugrunde liegende Dienst weiterläuft. So können Teams steigende Kosten oder betriebliche Probleme erkennen, bevor eine Rechnung zu hoch wird oder ein Nutzer ein Problem meldet.
Regeln können Fehler und Volumen überwachen, darunter die Fehlerrate, die Anzahl der Fehler sowie die Gesamtzahl übereinstimmender Traces oder Spans. Zu den Latenzbedingungen gehören die Dauer, die Zeit bis zum ersten Token und die Zeit bis zum ersten Chunk.
Mastra unterstützt außerdem Schwellenwerte für die Gesamtzahl der Tokens sowie für Eingabe-, Ausgabe-, Reasoning- und gecachte Tokens. Kosten- und Evaluierungsalarme können die Ausgaben oder den Durchschnittswert eines vom Nutzer ausgewählten Scorers überwachen.
Regeln lassen sich auf bestimmten Datenverkehr anwenden
Nutzer können einen Schwellenwert für den gesamten passenden Datenverkehr oder separat für jeden Agenten, jedes Tool, jedes Modell oder jeden Nutzer prüfen. Die Plattform enthält Vorlagen wie Tool failures, mit denen überwacht werden soll, wie oft ein Tool ausfällt. Nutzer können auch Start blank auswählen, um eine Abfrage und Bedingung von Grund auf zu erstellen.
Ein Backtest-Diagramm zeigt, wann eine Regel beim Datenverkehr der jüngeren Vergangenheit ausgelöst und beendet worden wäre. Teams können diese Ansicht nutzen, um einen Schwellenwert anzupassen, bevor sie den Alarm erstellen. Alarme lassen sich auch über das Metrics-Dashboard erstellen, indem das Glockensymbol in einem Diagramm ausgewählt wird.
Die Einrichtung erfolgt über Mastra Platform
Zu Beginn müssen Nutzer ihre Anwendung so konfigurieren, dass sie Traces an Mastra Platform sendet, einen Agenten ausführen und bestätigen, dass dessen Traces im Projekt erscheinen. Im Dashboard wählen sie in der Seitenleiste Alerts, anschließend New alert und danach Observability alert sowie eine Vorlage.
Nach der Auswahl eines Projekts legen Nutzer einen Schwellenwert fest und wählen ein Benachrichtigungsziel. Mastra prüft aktivierte Regeln alle fünf Minuten. Das Unternehmen erklärt, dass nur Organisationsadministratoren Alarme erstellen, bearbeiten und löschen können, während Mitglieder und Betrachter ausschließlich Lesezugriff haben.
Eine integrierte Alternative zur manuellen Überwachung
Mastra bot zuvor bereits Vorfallalarme für Ereignisse wie fehlgeschlagene Bereitstellungen oder abgestürzte Dienste an. Nach Angaben des Unternehmens mussten Nutzer, die das Verhalten von Agenten überwachen wollten, die Metrics-Seite selbst beobachten oder Traces exportieren und Alarme in Tools wie Datadog oder Grafana erstellen.
Observability-Alarme verlagern diese Konfiguration in Mastra Platform. Damit erhalten Teams einen zentralen Ort, um Schwellenwerte festzulegen und Benachrichtigungen für Agentenqualität, Zuverlässigkeit, Latenz, Nutzung und Kosten weiterzuleiten. Die Funktion richtet sich an Nutzer, die bereits Traces an Mastra Platform senden und eine automatisierte Überwachung ihres Agenten-Datenverkehrs benötigen.

