Forrester-Studie rechnet mit 466 Prozent ROI in drei Jahren durch Dynatrace-Observability

Woher der modellierte Nutzen stammt

Dynatrace hat Forrester Consulting beauftragt, den potenziellen geschäftlichen Nutzen einheitlicher Observability zu untersuchen, da KI die ohnehin komplexen Technologieumgebungen vor zusätzliche betriebliche Anforderungen stellt. Die Studie basiert auf einer zusammengesetzten Modellorganisation (Composite Organization), nicht auf einem einzelnen realen Kunden, und stützt sich auf Kundeninterviews.

Die größte einzelne Nutzenkategorie sind 14,4 Millionen US-Dollar, die auf die Effizienz der KI-gestützten Erkennung und Behebung von Störungen entfallen. Die Modellorganisation startet mit 450.000 Monitoring-Alarmen pro Jahr über alle Schweregrade hinweg. Bei Vorfällen der niedrigsten Stufe P4 geht das Modell davon aus, dass 98 Prozent automatisch behoben werden. Bei kritischen Vorfällen verkürzt sich die Zeit im War Room um 50 Prozent, Probleme werden nach etwa zwei statt vier Stunden identifiziert. Da an einem War Room bei kritischen Vorfällen 20 Personen beteiligt sind, setzen die kürzeren Untersuchungen erhebliche Kapazitäten frei. Die Interviewten berichteten zudem von einer Verringerung der mittleren Lösungszeit (Mean Time to Resolution) um bis zu 90 Prozent.

Forrester modellierte außerdem 3,1 Millionen US-Dollar an zusätzlichem Gewinn durch eine bessere Geschäftsleistung, darunter ein Rückgang schwerwiegender Vorfälle um mehr als 50 Prozent.

Entwicklerproduktivität und Kostenkontrolle

Für die Entwicklerproduktivität modellierte Forrester über drei Jahre risikobereinigte Barwert-Vorteile von 2,0 Millionen US-Dollar. Die Analyse unterstellt Effizienzgewinne von 30 Prozent im ersten und zweiten Jahr sowie 35 Prozent im dritten Jahr für den Teil der Entwicklerarbeit, der von Observability beeinflusst wird.

Ein Principal Site Reliability Engineer aus der Telekommunikationsbranche berichtete, die Diagnose eines Produktionsproblems sei von 45 auf fünf Minuten gesunken. Das Sammeln von Logs und Metriken habe sich von 15 bis 20 Minuten auf etwa eine Minute verkürzt. Ein zweiter Interviewter derselben Organisation sagte, große Releases, die früher 10 bis 15 Wochen dauerten, seien nun in zwei bis vier Wochen fertig, und kleinere Fehlerbehebungen, die eine Woche gedauert hätten, würden oft noch am selben Tag ausgeliefert. Ein Interviewter schätzte, dass für Einrichtung und Validierung der Observability zuvor 10 bis 20 Stunden Abstimmungsaufwand pro Projekt nötig waren.

Auf die Eindämmung der Betriebskosten und die Transparenz beim Verbrauch entfallen über drei Jahre risikobereinigte Barwert-Vorteile von 1,3 Millionen US-Dollar. Das Modell kombiniert drei Bereiche:

• Infrastruktur: Die Mainframe-Kosten der Modellorganisation waren jährlich um 8 Prozent gestiegen, die Ausgaben werden trotz wachsender Workloads konstant gehalten.
• Log-Management: Die jährlichen Kosten für die Log-Speicherung sinken um 50 Prozent durch effizientere Datenverarbeitung und weniger Duplikate.
• KI-Token-Verbrauch: Die Token-Ausgaben werden um 20 Prozent gesenkt, gemessen an einer Ausgangsbasis, die ein jährliches Wachstum der KI-Ausgaben von 30 Prozent annimmt.

Ein Interviewter nutzte Dynatrace, um die Kosten einzelner Prompts zu sehen und die zehn teuersten Abfragen zu identifizieren. Das führte zu Möglichkeiten für Caching und zu Änderungen daran, welche Modelle welche Aufgaben übernehmen.

Tool-Konsolidierung und regulatorische Berichte

Die Tool-Konsolidierung veranschlagt die Studie mit risikobereinigten Barwert-Vorteilen von 3,0 Millionen US-Dollar über drei Jahre. Die Modellorganisation schafft bis zum dritten Jahr alle doppelt vorhandenen Tools für Application Performance Monitoring und Log-Management ab. Unabhängig davon berichtete ein Interviewter, er habe zwei ältere APM-Produkte ersetzt und dadurch rund 1,7 Millionen US-Dollar an jährlichen Lizenzkosten gespart, während die Stilllegung einer eigenständigen Log-Analyse-Plattform weitere 800.000 US-Dollar pro Jahr eingespart habe.

Vor der Konsolidierung seien Logging- und Leistungsdaten getrennt gehalten worden, sodass Teams bei der Ursachensuche zwischen Systemen wechseln mussten, sagten die Interviewten. Bei größeren Vorfällen konnten 20 oder mehr Personen zusammenkommen, teils auch externe Anbieter, die jeweils einen anderen Teil der Umgebung untersuchten.

Die regulatorische Berichterstattung bringt über drei Jahre risikobereinigte Barwert-Vorteile von 765.000 US-Dollar. Die Modellorganisation halbiert die Zeit für die Erstellung von Berichten. Ein Interviewter aus der Finanzbranche sagte, Dynatrace werde genutzt, um vier der sieben Abschnitte seiner DORA-Vorfallberichte zu befüllen.

Auf dem Weg zu autonomen Abläufen

Ein Staff Technical Program Manager aus der Telekommunikationsbranche sagte, man setze KI-gesteuerte Problembehebung derzeit für einen einzelnen, klar abgegrenzten Infrastruktur-Anwendungsfall ein, mit Kontrollrichtlinien, die die menschliche Aufsicht vor einer breiteren Einführung sichern. In dem beschriebenen Ablauf wird ein Kubernetes-Cluster erkannt, dessen Pods zu 90 Prozent CPU-ausgelastet sind, und es wird eine Problemkarte erstellt und an ServiceNow übergeben, das einen Vorfall eröffnet.

Dynatrace argumentiert, dass die Ausweitung der Observability auf LLM-Aufrufe, Agenten-Orchestrierung und Inferenz-Pipelines den Teams den nötigen Kontext liefert, um Probleme schneller zu lösen, da KI-Systeme zum Teil des Anwendungs-Stacks werden. Das Unternehmen erklärt zudem, viele Organisationen, die ihre LLM-Nutzung ausbauen, könnten nicht sagen, welche Modelle, Aufrufe oder Agenten die Kosten treiben. Da die Zahlen aus einer in Auftrag gegebenen Studie zu einer modellierten Organisation stammen, werden die Ergebnisse einzelner Unternehmen abweichen.