Dynatrace erweitert Google-Cloud-Observability um Pub/Sub-Risikomanagement

Google-Cloud-Observability ist laut Dynatrace ab sofort allgemein in Dynatrace Clouds verfügbar. Ressourcen-Konfiguration, Metriken und Logs werden dabei in einem gemeinsamen Untersuchungskontext zusammengeführt. Anhand eines Pub/Sub-Vorfalls zeigt das Unternehmen, wie Teams das Alter von Nachrichten mit Aufbewahrungseinstellungen vergleichen und Risiken in verbundenen Google-Cloud-Projekten erkennen können.
- Google-Cloud-Observability ist jetzt allgemein in Dynatrace Clouds verfügbar.
- Dynatrace bündelt Google-Cloud-Konfiguration, Metriken und Logs in einem Kontext.
- Eine DQL-Abfrage vergleicht das Alter von Pub/Sub-Nachrichten mit der konfigurierten Aufbewahrungsdauer.
- Im Beispiel wurden 1.932 Rückerstattungen in einer Dead-Letter-Warteschlange gefunden.
- Das Dead-Letter-Abonnement bewahrte die Nachrichten sieben Tage lang auf.
Eine zentrale Ansicht für Google-Cloud-Ressourcen
Mit der Veröffentlichung wird Dynatrace's Cloud-Observability-Erfahrung auf Google Cloud ausgeweitet. Laut Dynatrace können Nutzer Konfiguration, Metriken und Logs mit der Dynatrace Query Language, kurz DQL, analysieren. Vorhandene Cloud-Labels können dabei Warnungen an die zuständigen Ressourcenverantwortlichen weiterleiten.
Das Beispiel des Unternehmens dreht sich um einen Online-Modehändler, dessen Abrechnungsprozess genehmigte Rückerstattungen an ein Pub/Sub-Thema sendet. Ein Push-Abonnement liefert die Nachrichten an einen Cloud-Run-Dienst, der die Rückzahlungen über einen Zahlungsanbieter abwickelt.
Warum die Dead-Letter-Warteschlange das Aufbewahrungsrisiko verdeckte
Im beispielhaften Vorfall führte ein ungewöhnlich großer Stapel dazu, dass der Rückerstattungsdienst eine halbe Stunde lang Aufträge ablehnte. Der Cloud-Run-Dienst erreichte sein Limit von 20 Instanzen und gab 429-Antworten zurück. Dynatrace eröffnete um 10:26 ein Problem, und das Limit wurde um 10:43 von 20 auf 60 erhöht. Die letzte 429-Antwort trat um 10:54 auf.
Das Abonnement verfügte über eine Dead-Letter-Richtlinie, die eine Nachricht nach fünf fehlgeschlagenen Zustellversuchen in ein separates Thema und Abonnement verschob. Pub/Sub bewahrte die Nachrichten dort sieben Tage lang auf, aber das Dead-Letter-Abonnement hatte weder einen Verbraucher noch einen Alarm. Dynatrace zufolge wurden zwischen 10:30 und 10:55 insgesamt 1.932 Rückerstattungen weitergeleitet.
Diese Konfiguration verhinderte einen unmittelbaren Datenverlust, verlagerte das Risiko jedoch auf die Aufbewahrungsdauer. Wie es in der Quelle heißt: „Nach der Weiterleitung einer nicht zustellbaren Nachricht entfernt der Pub/Sub-Dienst die Nachricht aus dem Abonnement.“ Die Überwachung des ursprünglichen Abonnements zeigte die weitergeleiteten Nachrichten daher nicht mehr an. Ein einfacher Alarm zur Warteschlangentiefe hätte zudem nur angezeigt, dass etwas auf die Verarbeitung wartet, nicht aber, wann es ablaufen könnte.
Nachrichtenalter und Konfiguration kombinieren
Der von Dynatrace vorgeschlagene Ansatz vergleicht das Alter der ältesten unbestätigten Nachricht mit der für das betreffende Abonnement konfigurierten Aufbewahrungsdauer. Die Aufbewahrungsdauer ist eine Konfiguration und keine Metrik. Das Unternehmen erklärt jedoch, dass DQL beide Werte kombinieren kann, weil die Abonnementkonfiguration neben den Monitoringdaten in Smartscape verfügbar ist und gemeinsam in Grail gespeichert wird.
Im Beispiel berechnet die Abfrage ein Verhältnis, indem sie das Alter der ältesten Nachricht durch die Aufbewahrungsdauer des Abonnements teilt. Bei refunds-push erreichte das Verhältnis einen Höchstwert von 0.0016, was etwa sechzehn Minuten gegenüber sieben Tagen entspricht. Der Rückstand alterte nicht, weil fehlgeschlagene Nachrichten erneut zugestellt und anschließend an das Dead-Letter-Abonnement weitergeleitet wurden.
Was das für Cloud-Betriebsteams bedeutet
Das Beispiel zeigt, warum eine Dead-Letter-Warteschlange einen Vorfall gelöst erscheinen lassen kann, während eine separate Frist weiter überwacht werden muss. Der Workflow von Dynatrace soll Beziehungen zwischen Ressourcen nachverfolgen, Betriebsdaten mit Konfigurationen vergleichen und daraus einen Alarm für verbundene Projekte erstellen.
Für Teams, die Pub/Sub-Abonnements verwalten, ist daher die verbleibende Zeit bis zum Ende der Aufbewahrung das relevante Signal und nicht allein die Warteschlangentiefe. In diesem Szenario ergab die Überprüfung des Vorfalls richtigerweise keinen Datenverlust. Die Wiederholung der Verarbeitung wurde jedoch auf den nächsten Sprint verschoben, sodass das Aufbewahrungsfenster von sieben Tagen zur entscheidenden zu überwachenden Bedingung wurde.
Dynatrace: How to find at-risk Pub/Sub messages across Google Cloud projects


