DigitalOcean startet Signals und Simulations, um Fehler von KI-Agenten aufzuspüren

Signals: Fehler finden, die wie Erfolge aussehen

Laut DigitalOcean zeigt klassische Observability zwar, dass ein System lief und die Latenz stimmte, nicht aber, dass ein Agent das falsche Tool gewählt, veralteten Kontext genutzt oder einen frustrierten Nutzer zum Aufgeben gebracht hat. Diese Lücke soll Signals schließen. Die Funktion überwacht den Produktivverkehr auf DigitalOcean Managed Agents und DigitalOcean Inference Engine und hebt mögliche Probleme automatisch hervor, etwa frustrierte Nutzer, ausfallende Tools und Infrastrukturengpässe.

Signals fügt einzelne Gesprächsrunden zu Sitzungen zusammen und klassifiziert jede Sitzung nach drei Dimensionen:

• Interaction Signals erfassen die Stimmung der Nutzer, darunter Korrekturen, Eskalationen und Abbrüche.
• Execution Signals erfassen die Zuverlässigkeit der Tools, zum Beispiel ungültige Argumente und Wiederholungsschleifen.
• Environmental Signals erfassen die Infrastruktur, darunter Timeouts, Rate Limits und Kontextüberlauf.

Trends erscheinen in der Signals-Ansicht von Harness Runtime und Serverless Inference. Von dort können Nutzer bis zu den zugrunde liegenden Sitzungen vordringen.

Günstige Vorauswahl statt Bewertung jeder Sitzung

Nach Angaben von DigitalOcean kann das Volumen der Rohdaten (Traces) 100 GB/s übersteigen, sodass es unbezahlbar teuer wäre, jede Sitzung von einem LLM-Judge bewerten zu lassen. Signals nimmt deshalb zunächst eine kostengünstige Vorauswahl vor und filtert Sitzungen heraus, die einen genaueren Blick lohnen. Das Verfahren beschreibt das Unternehmen in seinem Paper Signals: Trajectory Sampling and Triage for Agentic Interactions. In einer kontrollierten Studie auf dem Benchmark τ-bench berichtet es von einer Informativitätsrate von 82 % und einem Effizienzgewinn von 1,52x gegenüber zufälliger Stichprobenauswahl.

Markierte Sitzungen lassen sich mit einem Klick in Evaluierungsszenarien umwandeln. Signals ist Opt-in und soll laut DigitalOcean personenbezogene Daten (PII) vor der Verarbeitung schwärzen. Traces und daraus abgeleitete Evaluierungen verbleiben innerhalb der DigitalOcean-Team-Grenzen des Kunden und werden nie für kundenübergreifendes Modelltraining genutzt. Am besten funktioniere die Funktion, so das Unternehmen, wenn der Agent auf Managed Agents läuft und die Modelle die DigitalOcean Inference Engine nutzen.

Simulations: ganze Gespräche testen

Simulations ist eine neue Funktion von DigitalOcean Evaluations. DigitalOcean weist darauf hin, dass Testfälle mit einzelnen Antworten Fehler übersehen, die sich über mehrere Gesprächsrunden entwickeln, etwa wenn eine Prompt-Anpassung einen Schritt behebt und einen späteren unbemerkt kaputt macht. Simulations führt Multi-Turn-Szenarien aus, die von der eigenen Konfiguration des Agenten ausgehen und daher nur Ziele und Tools abdecken, die der Agent tatsächlich unterstützt.

Ist Signals aktiviert, wird die Szenariogenerierung auf Bereiche gewichtet, in denen der Produktivverkehr bereits Reibung zeigt, sowie auf jene, die von der Änderung am wahrscheinlichsten betroffen sind. Ohne Produktivdaten erstellt eine geführte Verfeinerung aus der Konfiguration einen Basissatz. Nutzer können ein Szenario auch in einfacher Sprache beschreiben, etwa „eine Rückerstattungsanfrage eines verärgerten Kunden mit fehlenden Bestelldaten“.

Ein Nutzersimulator spielt die Persona Runde für Runde gegen den Kandidaten, der in einer isolierten Sandbox auf Harness Runtime läuft, mit derselben Konfiguration und denselben Action-Gateway-Tools wie in der Produktion. Tools, die Daten schreiben oder Kosten verursachen, können als Mocks laufen. Jedes Szenario wird mehrfach durchgespielt, und ein LLM-Judge bewertet jede Trajektorie anhand von Evaluations-Metriken wie Erreichen des Nutzerziels, Wissensbehalt und Genauigkeit der Tool-Nutzung sowie anhand eigener Metriken. Da jede Trajektorie sämtliche Tool-Aufrufe festhält, kann Simulations ein Fehlschlagen beim Schlussfolgern von einem Fehler bei der Tool-Nutzung unterscheiden. Der Vergleich von Baseline und Kandidat zeigt, was sich verbessert und was sich verschlechtert hat.

Unterstützte Harnesses und Einstieg

Simulations kann Änderungen an Anweisungen und Tool-Auswahl sowie feinabgestimmte oder per Reinforcement Learning trainierte Checkpoints auf jedem von Harness Runtime unterstützten Harness validieren, darunter Claude Code, Codex und OpenCode. Agenten von Drittanbietern wie LangChain, Hermes und CrewAI werden in dieser Preview nicht unterstützt. Für den Vergleich zweier Modelle anhand fester Prompts bleibt nach Angaben von DigitalOcean die Single-Turn-Variante von Evaluations das richtige Werkzeug.

Um Signals zu nutzen, öffnen Anwender Harness Runtime in der DigitalOcean Console, suchen Signals und aktivieren es für einen oder mehrere Managed Agents. Bis die Datenverarbeitung beginnt, kann es bis zu eine Stunde dauern. Markierte Sitzungen lassen sich als Testszenarien nach Evaluations exportieren, und Signals-Daten können heruntergeladen werden, um Modelle feinzutunen oder als Reward- und Präferenzdaten für Reinforcement Learning zu dienen.

Für eine Simulation gehen Nutzer zu Evaluations & Simulations, wählen ein Szenario und klicken auf Run Simulation. Anschließend wählen sie den Kandidaten, das Modell des Nutzersimulators und die Metriken und legen die Episoden pro Szenario sowie das Rundenlimit fest. Szenarien, die sich zu behalten lohnen, lassen sich als Regressionstests in einer Bibliothek speichern.

Was das für Teams mit Agenten bedeutet

DigitalOcean versteht die beiden Werkzeuge als Kreislauf: Signals zeigt, was schiefgelaufen ist, Simulations testet die Korrektur vor der Auslieferung, und Signals beobachtet danach weiter. Da Harness Runtime und Action Gateway bereits Ereignisse ausgeben, muss laut Unternehmen für Agenten auf Managed Agents nichts zusätzlich instrumentiert werden. Für Teams, die ihre Agenten bereits auf DigitalOcean betreiben, heißt das: Probleme aus der Produktion können direkt in Tests vor dem Release und in spätere Regressionsprüfungen einfließen.