Datadog startet Scout 1.0: günstigeres KI-Modell für die Analyse von Störungen
Datadog hat Scout 1.0 vorgestellt, sein erstes KI-Modell, das speziell für die Untersuchung von Problemen im Produktivbetrieb entwickelt wurde. Laut Unternehmen erreicht Scout im hauseigenen Investigation-Benchmark die Leistung führender Allzweckmodelle oder kommt ihr nahe, bei deutlich geringeren geschätzten Inferenzkosten.
- Datadog hat Scout 1.0 vorgestellt, sein erstes auf die Untersuchung von Produktionsproblemen spezialisiertes Modell, das Bits Investigation antreibt.
- Laut Datadog erreicht Scout 1.0 medium bei 3- bis 8-fach geringeren geschätzten Inferenzkosten das Niveau von GPT-6.1 Sol high und Claude Opus 5.5 high.
- Scout basiert auf GLM-5.3 Flash und wurde per Reinforcement Learning in Simulationen anhand echter historischer Vorfälle trainiert.
- Die Ergebnisse stammen überwiegend aus AlertEval, dem internen Benchmark von Datadog, sowie aus dem Drittanbieter-Benchmark SREGym.
- Eine geschlossene Vorschau läuft bereits, für die allgemeine Verfügbarkeit gibt es keinen angekündigten Termin.
Ein Modell speziell für Untersuchungen
Scout treibt Bits Investigation an, den KI-SRE von Datadog. Datadog erklärt, das Modell sei darauf trainiert worden, die Inferenzkosten zu senken, sodass Untersuchungen günstig genug werden, um "eine Größenordnung häufiger" und früher im Verlauf eines Vorfalls ausgeführt zu werden.
Das Unternehmen beschreibt das Ziel, Bits zu einem permanent verfügbaren Ersthelfer zu machen, der Belege sammelt und wahrscheinliche Ursachen benennt, bevor ein Ingenieur eingreift. Jede Untersuchung umfasst das Aufstellen von Hypothesen, das Abfragen von Telemetriedaten und die Entscheidung, ob die Belege einen Schluss tragen. Dafür sind wiederholte Modellaufrufe nötig. Niedrigere Kosten pro Aufruf schaffen daher Spielraum, mehr Alarme abzudecken und komplexere Probleme gründlicher zu analysieren.
Die Benchmark-Angaben
Die Vergleiche stammen aus AlertEval, einem internen Benchmark, der von menschlichen Experten annotiert wurde. Laut Datadog messen die Werte auf einer Skala von 0 bis 100 die Übereinstimmung mit Referenzerklärungen der Experten und geben nicht den Prozentanteil gelöster Vorfälle an. Bei den Kosten handelt es sich um geschätzte Inferenzkosten pro Untersuchung.
- Scout 1.0 medium erreicht bei 3- bis 8-fach geringeren geschätzten Kosten das Niveau von GPT-6.1 Sol high und Claude Opus 5.5 high.
- Es schneidet vergleichbar ab wie Fable medium und Astra medium, bei 12-fach beziehungsweise 19-fach geringeren Kosten.
- Mit Test-Time-Scaling erreicht Scout 1.0 xhigh das Niveau von Fable xhigh, bei 4-fach geringeren Kosten.
In der Bildunterschrift der Grafik gibt Datadog zudem an, der xhigh-Modus übertreffe GPT-6 Astra und erreiche Claude Fable 5.1 xhigh, wobei die Kosten im selben Bereich wie bei Sol und Opus blieben.
Außerdem hat Datadog Scout mit SREGym getestet, einem Benchmark eines Drittanbieters. Dort verbessere sich Scout 1.0 medium deutlich gegenüber seinem Basismodell GLM-5.3-Flash und übertreffe GLM-5.3 bei mehr als 4-fach niedrigeren Kosten. Scout 1.0 high sei in diesem Benchmark mit den besten Modellen konkurrenzfähig und spare gegenüber allen Wettbewerbern mindestens das Zweifache an Kosten, gegenüber Modellen der Klassen Astra und Fable das Zehnfache.
So wurde Scout trainiert
Datadog hat Scout 1.0 auf Basis von GLM-5.3 Flash entwickelt und per Reinforcement Learning in Untersuchungssimulationen nachtrainiert. Die Simulationen basieren auf historischen Vorfällen und Telemetriedaten echter Alarme mit bekannten Ursachen. Laut Unternehmen enthalten sie keine Kundendaten. Im Training nutzt Scout Werkzeuge nach dem Vorbild von Bits Investigation, um Belege zu sammeln und konkurrierende Erklärungen zu prüfen. Belohnt wird es dafür, die Ursache zu finden und seine Schlussfolgerungen mit Belegen zu untermauern.
Das Unternehmen gibt an, auf Basis von Open-Source-Tools eine eigene verteilte Reinforcement-Learning-Infrastruktur aufgebaut zu haben, die Simulation, Evaluierung und Modelltraining abdeckt. AlertEval kombiniert echte Alarme, archivierte Telemetriedaten und Ursachenerklärungen, die von Datadog-Ingenieuren verfasst wurden. Datadog entwickelt Scout und Bits Investigation nach eigenen Angaben gemeinsam: Das Modell wird auf die von Bits genutzten Werkzeuge trainiert, und die Werkzeuge werden anhand der gewonnenen Erkenntnisse verbessert.
Verfügbarkeit und Ausblick
Entwicklungsteams von Datadog und eine kleine Gruppe von Kunden in einer geschlossenen Vorschau nutzen Scout bereits, um Alarme im Produktivbetrieb zu untersuchen. Interessierte Teams können sich für die Vorschau anmelden, um das Modell in der eigenen Umgebung zu testen und vor der allgemeinen Verfügbarkeit Feedback zu geben. Einen Termin für die allgemeine Verfügbarkeit oder Preise nennt die Quelle nicht.
Datadog will nach eigenen Angaben ein breiteres Spektrum an Ausfällen simulieren und die Qualität der Untersuchungen weiter steigern, während die Kosten sinken. Zudem soll der Ansatz über die Analyse hinaus auf die autonome Behebung von Problemen ausgeweitet werden. In den Worten des Unternehmens würde Bits damit dem Ziel näherkommen, "der einzige Ersthelfer bei einem Vorfall zu werden".
Für Engineering-Teams liegt der praktische Nutzen in den Kosten. Sollten sich die Angaben des Unternehmens in Kundenumgebungen bestätigen, könnten günstigere Untersuchungen KI-Analysen für mehr Alarme ermöglichen, nicht nur für die schwersten. Die Benchmarks stammen größtenteils von Datadog selbst, die Ergebnisse im Produktivbetrieb können daher abweichen.
