DigitalOcean Signals zeigt, wo KI-Agenten sich im Kreis drehen, scheitern oder Nutzer frustrieren

Das Problem: grüne Dashboards, schlechte Sessions

DigitalOcean argumentiert, dass Standardmetriken nicht zeigen, wie gut ein Agent tatsächlich gearbeitet hat. In dem Beispiel des Unternehmens versucht ein Nutzer zehn Minuten lang, denselben fehlschlagenden Befehl mit leicht veränderten Argumenten erneut auszuführen. Die Infrastruktur erkennt dennoch kein Problem: Der Lauf wurde gestartet, er wurde beendet, und die Tokens wurden abgerechnet. Weil Agenten nicht deterministisch arbeiten, kann derselbe Prompt laut Unternehmen an einem Tag gut und am nächsten schlecht funktionieren.

Transkripte von Hand zu lesen, skaliere nicht, so das Unternehmen, und ein weiteres Modell jedes Gespräch bewerten zu lassen, könne so teuer werden wie der Betrieb des Agenten selbst. Signals soll zwischen diesen beiden Optionen angesiedelt sein.

Was Signals erkennt

Signals deckt 25 Signaltypen in sieben Kategorien ab, die in drei Ebenen gegliedert sind. Die Taxonomie stammt nach Angaben von DigitalOcean aus einer Studie, die das Team Anfang des Jahres auf arXiv zur Triage von Agenten-Trajektorien veröffentlicht hat.

• Interaktionssignale beschreiben, wie der Nutzer reagiert: Missverständnis, Stillstand, Rückzug und Zufriedenheit.
• Ausführungssignale zeigen, ob Tool-Aufrufe gelingen. Zu den Fehlern zählen ungültige Argumente, fehlerhafte Abfragen und der falsche Umgang mit Zugangsdaten. Schleifen umfassen einfache Wiederholungen, Parameter-Drift und das Pendeln zwischen zwei Aktionen.
• Umgebungssignale erfassen Fehler externer APIs, Kontextüberläufe, fehlerhafte Antworten, Netzwerkausfälle, Ratenbegrenzungen und Timeouts.

Nicht jedes Signal weist auf ein Problem hin. Zufriedenheitssignale markieren Sessions, in denen der Nutzer die Antwort bestätigt, sich bedankt oder sein Ziel erreicht hat. Jedes Signal enthält den Lauf, den Schrittindex, einen Konfidenzwert und einen kurzen Ausschnitt.

Für die Erkennung wird kein Modell aufgerufen. Laut DigitalOcean ist sie deterministisch und günstig, die Kosten steigen also nicht mit dem Traffic, und dasselbe Gespräch liefert jedes Mal dieselben Signale.

Triage statt Bewertung

DigitalOcean beschreibt Signals als Werkzeug für eine erste Triage, das entscheidet, welche Gespräche einen menschlichen Prüfer oder einen teureren LLM-Judge verdienen. Für jede Session erstellt es einen Bericht, der die Qualität von Excellent bis Severe einstuft, die erkannten Signale auflistet und die Session markiert, wenn sie einen genaueren Blick verdient.

In einer kontrollierten Studie auf τ-bench, einem Benchmark für Agenten mit Tool-Nutzung, stuften Annotatoren 82 % der von Signals markierten Sessions als aufschlussreich ein, weil sie einen echten Fehler oder ein gutes Beispiel zeigten. Bei zufällig ausgewählten Sessions lag der Wert bei 54 %. Das Unternehmen sagt, Prüfer fänden damit bei gleichem Budget etwa 1,5-mal so viele nützliche Sessions, und weist darauf hin, dass die Ergebnisse im Produktivbetrieb abweichen werden.

Markierte Sessions lassen sich als Datensätze exportieren, die in Evaluations und Simulations einfließen. So können Fälle aus dem Produktivbetrieb genutzt werden, um Agenten zu bewerten und zu verbessern.

Datenschutz und Einrichtung

Signals ist standardmäßig deaktiviert und wird pro Umgebung aktiviert. Die Einwilligung wird protokolliert und lässt sich widerrufen; analysiert werden nur Gespräche, die nach dem Einschalten beginnen. Laut DigitalOcean bleiben die Gesprächsinhalte innerhalb der Teamgrenzen des Kunden und werden nie für kundenübergreifendes Modelltraining verwendet. Exporte schwärzen personenbezogene Daten in Freitext, und ein Löschantrag entfernt die erhobenen Daten.

Nutzer benötigen doctl 1.181.0 oder neuer sowie ein Token mit den Scopes signals:query und signals:update. Konten in einer kostenlosen Testphase können Signals während der Preview nicht nutzen. Die Einwilligung lässt sich im Control Panel auf der Seite Harness Runtime oder mit dem Befehl doctl signals consent set --agent-id <agent-id> --enabled=true erteilen. Signale der Inference Engine sind vorerst nur über die API und doctl verfügbar, eine Console-Oberfläche soll folgen.

Signale erscheinen in der Regel innerhalb von 30 Minuten, nachdem eine Session inaktiv geworden ist. Metriken in der Signals-Ansicht können bis zu eine Stunde brauchen, bis sie die jüngste Aktivität widerspiegeln. Sessions werden erneut analysiert, wenn sie geschlossen oder gelöscht werden.

Was das für Teams mit Agenten im Einsatz bedeutet

Für Teams, die Agenten auf DigitalOcean betreiben, bietet Signals die Möglichkeit, einen ganzen Agenten auf einen Blick zu überprüfen und nur markierte Sessions zu öffnen, ohne den Agenten-Code zusätzlich zu instrumentieren. DigitalOcean zufolge fallen für die Nutzung von Signals während der Public Preview weder für Managed Agents noch für Serverless Inference Kosten an. Die Preise nach der Preview nennt die Quelle nicht.