Datadog ergänzt Monitoring für Nutzung und Wirkung von OpenAI Codex

Ein umfassenderer Blick auf die Codex-Nutzung

Datadog zufolge vermitteln organisationsweite Nutzungszahlen nur ein unvollständiges Bild von der Einführung von KI-gestütztem Programmieren. Eine hohe Aktivität könnte sich auf eine kleine Gruppe von Entwicklern konzentrieren. Oder Entwickler nutzen einen Codex-Client intensiv, während sie einen anderen kaum verwenden.

Die Integration ruft einmal täglich benutzerbezogene Codex-Aktivitäten über die Codex Analytics API ab. Das Dashboard erfasst Threads, Durchläufe, verbrauchte Codex-Credits und Tokens. Für die Auswertung stehen Filter für Workspace, Konto, Benutzer, Modell und Codex-Client zur Verfügung.

Threads stehen für Codex-Unterhaltungen, die von einem Entwickler gestartet wurden, während Durchläufe die über diese Threads gesendeten Nachrichten repräsentieren. Datadog zufolge liefern die Metriken openai.codex.usage.threads und openai.codex.usage.turns ergänzende Messwerte für die Nutzung, darunter Aktivitätstrends und Ranglisten der Benutzer.

Tokens, Modelle und Clients im Blick

Das Dashboard unterteilt die Token-Nutzung in Tokens für gecachte Eingaben, nicht gecachte Eingaben und Ausgaben. Datadog betont, dass Credits den Verbrauch von Codex-Credits und keine Dollarbeträge abbilden. Die Integration erfasst weder Ausgaben noch Währungsdaten.

Ansichten auf Modellebene zeigen die Nutzung von Eingabe- und Ausgabetokens nach Modell und Geschwindigkeitsstufe sowie Ranglisten nach dem gesamten Tokenverbrauch. Führungskräfte können damit sehen, welche Modelle den größten Nutzungsanteil ausmachen und wie sich die Muster im Zeitverlauf verändern.

Datadog erfasst Threads und Durchläufe außerdem über Codex-Clients wie CLI, Desktop-App, GitHub sowie Web- und IDE-Integrationen hinweg. Da die Codex Analytics API keine Token-Daten nach Client bereitstellt, konzentrieren sich diese Vergleiche auf Threads und Durchläufe.

Codebeiträge und Review-Feedback messen

Nutzungszahlen zeigen nicht, ob Codex-Ausgaben tatsächlich in die Codebasis gelangen. Deshalb erfasst die Integration von Datadog die Codex zugeordneten hinzugefügten und entfernten Codezeilen. Führungskräfte können diese Werte mit Threads, Durchläufen und dem Tokenverbrauch vergleichen, um zu verstehen, welche Rolle Codex in unterschiedlichen Entwicklungsabläufen spielt.

Die Integration erfasst außerdem abgeschlossene Reviews und Review-Kommentare nach Priorität, darunter P0, P1 und P2. Sie dokumentiert Reaktionen der Entwickler wie Upvotes, Downvotes, andere Reaktionen und Antworten. So können Teams das Review-Volumen im Zeitverlauf mit der Beteiligung vergleichen.

Datadog verweist auf die eigene Nutzung von Codex als Beispiel. In einem Test mit historischen Vorfällen fand Codex mehr als 10 Fälle oder etwa 22% der untersuchten Vorfälle, bei denen die für die Vorfälle verantwortlichen Entwickler angaben, dass sein Feedback einen Unterschied gemacht hätte. Datadog zufolge nutzen mehr als 1,000 seiner Entwickler Codex regelmäßig.

Warum die Integration für Entwicklungsteams wichtig ist

Das Dashboard soll KI-gestützte Programmieraktivitäten mit Ergebnissen der Softwarebereitstellung verknüpfen. Teams können Codex-Nutzungsdaten an Datadog AI Impact senden und die Leistung der Softwarebereitstellung bei KI-gestützter und nicht KI-gestützter Arbeit vergleichen.

Damit erhalten Führungskräfte in der Entwicklung mehr als nur eine einzelne Nutzungszahl. Sie können untersuchen, wer Codex nutzt, welche Modelle und Clients beteiligt sind, wie viel Code dem Tool zugeschrieben wird und ob Entwickler auf seine Review-Kommentare eingehen. Datadog präsentiert diese Signale als quantitativen Kontext, um die KI-gestützte Entwicklung zusammen mit dem direkten Feedback der Entwickler zu bewerten.