Datadog entwickelt agentisches System zur Suche nach ausnutzbaren Schwachstellen

Datadog hat eine Orchestrierungspipeline entwickelt, die KI-Agenten mit dem nötigen Sicherheitskontext versorgt, um zu beurteilen, ob potenzielle Schwachstellen ausnutzbar sind. Das System nutzt von Menschen geprüfte Threat-Packs, eine Modellweiterleitung und einen separaten Validierungsschritt, um die Qualität der Ergebnisse zu verbessern.
- Datadogs Pipeline versorgt KI-Agenten mit systemspezifischem Sicherheitskontext.
- Threat-Packs enthalten Invarianten, Architekturdetails, Prioritäten und kompensierende Kontrollen.
- Agenten weisen Aufgaben zur Entdeckung und Reproduktion geeigneten Modellen zu.
- Ein zweiter Agent validiert, ob ein Ergebnis einen erreichbaren Einstiegspunkt mit einer verletzten Invariante verknüpft.
- Datadog zufolge hat der Ansatz Guest-to-Host-Ausbrüche in Open-Source-Komponenten aufgedeckt.
Warum die Suche nach Schwachstellen mehr Kontext braucht
Datadog zufolge können aktuelle KI-Modelle mit geschlossenem und offenem Gewicht potenzielle Schwachstellen mithilfe von Fähigkeiten, Werkzeugen und Prompts identifizieren. Schwieriger ist es, unter Berücksichtigung der Geschäftslogik eines Dienstes und bestehender Sicherheitskontrollen festzustellen, ob sich ein Problem tatsächlich ausnutzen lässt.
Diese Herausforderung ist für Produktivdienste besonders relevant, da sie von Frameworks, Infrastrukturen und anderen Diensten abhängen, die von zahlreichen Teams gepflegt werden. Ein Agent, der ein Repository untersucht, sieht möglicherweise keine Authentifizierungsprüfungen oder Netzwerkbeschränkungen, die an anderer Stelle implementiert sind, oder versteht die Sicherheitsanforderungen nicht, die der Dienst erfüllen muss.
Datadogs Pipeline soll diesen fehlenden Kontext bereitstellen. Außerdem kann das Unternehmen damit Suchen nach bekannten Schwachstellen wiederholen und prüfen, ob Agenten sie nach Änderungen an einem Modell oder Agenten-Harness weiterhin finden.
Threat-Packs liefern agentspezifische Sicherheitsanforderungen
Im Mittelpunkt des Ablaufs stehen Threat-Packs. Datadog beschreibt sie als kompakte, von Menschen geprüfte Dokumente, die Sicherheitsexpertise in Kontext für eine agentengeführte Suche umwandeln. Jedes Pack kombiniert eine Systemzusammenfassung, Sicherheitsinvarianten, Prüfprioritäten und bekannte kompensierende Kontrollen.
Ein Threat-Pack verwendet eine Datei threat-pack.md und eine Datei metadata.yaml. Die Markdown-Datei enthält die Systemzusammenfassung, Sicherheitsinvarianten, Prüfprioritäten und bekannten kompensierenden Kontrollen, während die YAML-Datei den Geltungsbereich, den Maintainer und die Codepositionen des Packs festlegt. Datadog versioniert beide Dateien, um den in einer bestimmten Suche verwendeten Kontext zu rekonstruieren und mit späteren Versionen zu vergleichen.
Die Packs umfassen in der Regel etwa 300 Zeilen. Datadog zufolge liefern sie den erforderlichen Sicherheitskontext und beanspruchen dabei nur einen kleinen Teil des Kontextfensters eines Agenten. Nach Angaben des Unternehmens wurden Hunderte Packs erstellt, wobei die Systeme nach ihrem Risiko priorisiert wurden. Agenten erstellen anhand von Code, Penetrationstestberichten, Risikobewertungen und Designdokumenten erste Versionen, während eine Interview-Funktion die Fragen an Fachexperten vorgibt. Jedes Pack wird vor seiner Verwendung von Menschen geprüft.
Ergebnisse müssen einen Einstiegspunkt mit einer verletzten Invariante verknüpfen
Datadogs Pipeline trennt die Entdeckung und Reproduktion von Schwachstellen in unterschiedliche Aufgaben und weist jede Aufgabe dem kostengünstigsten Modell zu, das sie erledigen kann. Der Ablauf soll über verschiedene Modellanbieter und Agenten-Harnesses hinweg konsistent bleiben. Diese führen die Agenten aus und verbinden sie mit geeigneten Werkzeugen.
Bevor ein Bericht die Triage erreicht, prüft ein zweiter Agent als Richter den ursprünglichen potenziellen Fund anhand des relevanten Threat-Packs. Der Bericht muss eine deklarierte Invariante nennen, einen für einen Angreifer erreichbaren Einstiegspunkt angeben und erklären, wie dieser Pfad die Invariante verletzen könnte. Ergebnisse, die diese Bedingungen erfüllen, werden zu qualifizierten Ergebnissen und können in einen Proof-of-Concept-Versuch übergehen.
Berichte, die keinen erreichbaren Einstiegspunkt mit einer verletzten Invariante verknüpfen können, werden als disqualifiziert markiert und vor Reproduktion, automatisierter Triage oder Behebung gestoppt. Datadog bewahrt diese Berichte auf, um fehlenden Kontext in einem Threat-Pack oder Hinweise darauf zu erkennen, dass das Harness etwas übersehen hat. Diese Informationen werden anschließend genutzt, um das Pack oder die Pipeline zu verbessern.
Datadog zufolge haben Suchen mit den Packs Guest-to-Host-Ausbrüche in Open-Source-Komponenten aufgedeckt, darunter einen über virtio-fs in der Rust-Laufzeit von Kata Containers und einen weiteren, der durch eine fehlende Längenprüfung in der virtio-blk-Implementierung von Dragonball verursacht wurde. Das Unternehmen erklärt, dass die Packs die Zahl irrelevanter Treffer reduziert und die Qualität der Berichte verbessert haben, wodurch sich Ergebnisse effizienter priorisieren lassen.
Datadog: How we built Datadog’s agentic vulnerability hunting system


