Claude erhält native OpenTelemetry-Unterstützung in Databricks MLflow

Claude-Läufe fließen in MLflow

Databricks teilte mit, dass sich die Claude Platform jetzt über den nativen OpenTelemetry-Export als unterstütztes Ziel mit Databricks MLflow verbinden lässt. OpenTelemetry ist ein offener Standard zur Messung des Betriebs von Diensten und zum Export ihrer Daten.

Beim Tracing wird ein Agentenlauf in einzelne Schritte, sogenannte Spans, aufgeteilt. Dazu können Modellanfragen und Tool-Aufrufe gehören. Die native Instrumentierung von Claude erstellt die Spans und sendet sie über das OpenTelemetry Protocol.

Databricks empfängt die Daten über Zerobus Ingest und speichert sie in Unity-Catalog-Tabellen, die mit einem MLflow-Experiment verknüpft sind. Entwickler können Claude-Traces neben Traces anderer instrumentierter Dienste untersuchen. Der Zugriff wird über Unity Catalog verwaltet, außerdem lassen sich die Daten per SQL abfragen.

Die Einrichtung erfolgt in drei Schritten

Laut dem Leitfaden von Databricks müssen Nutzer zunächst in der Ansicht „Experiments“ ein Experiment erstellen. Unity Catalog bleibt anschließend als Speicherort für die Traces ausgewählt, bevor Nutzer den gewünschten Katalog und das gewünschte Schema festlegen. Dadurch wird die Verbindung zwischen dem MLflow-Experiment und der Unity-Catalog-Tabelle hergestellt, in der die Traces gespeichert werden.

Danach kann der Entwickler das Databricks-Ziel mit Workspace-ID, Region und Span-Tabelle konfigurieren. Für die Zerobus-Verbindung ist ein OAuth-Token auf Tabellenebene erforderlich. Die nativen Integrationen decken die Anthropic SDKs, die Messages API und das Managed-Agents-System ab. Auch Claude Code und das Claude Agent SDK unterstützen OpenTelemetry.

Nach einem Lauf zeigt die Ansicht „Traces“ Modellaufrufe, Tool-Aktivitäten, Zeitabläufe sowie erfasste Ein- und Ausgaben. Letztere werden nur einbezogen, wenn der Entwickler den Inhaltsmodus auf „full“ setzt.

Debugging, Expertenprüfung und Evaluierung

Die MLflow-Funktion „Analyze trace“ nutzt Databricks Genie Code, um einen ausgewählten Claude-Lauf zu untersuchen. Das System kann beispielsweise dabei helfen, fehlenden Kontext, fehlgeschlagene Tool-Aufrufe oder unnötig kostspielige Schritte aufzudecken. Entwickler können zusätzliche Fragen zur Ursache eines Problems stellen.

Die MLflow-Funktion „Issues“ sucht in der Beta nach wiederkehrenden Qualitäts- und Betriebsproblemen in Traces und Sitzungen. Sie untersucht Antworten, Tool-Aufrufe, Zeitabläufe, Fehler und Evaluierungen und fasst sie anschließend zu zusammengehörigen Ergebnissen zusammen. Databricks nennt unnötig wiederholte Suchen, fehlende Argumente, die Tool-Fehler verursachen, und Antworten, die das erforderliche Format nicht einhalten, als Beispiele.

Teams können über MLflow Review Queues außerdem Fachexperten einbeziehen. Experten können zugewiesene Traces bewerten, Schwachstellen markieren und die erwartete Antwort angeben. MLflow Agent Evaluation kann ältere und geänderte Versionen eines Agenten anhand derselben Testfälle vergleichen, etwa um zu prüfen, ob ein Tool-Aufruf wiederholt wurde.

Was bedeutet das für Entwickler?

Auf Grundlage der Ankündigung können Entwickler von Claude-Agenten Laufdetails in einem einzigen Workflow verfolgen, nach wiederkehrenden Problemen suchen, Expertenfeedback einholen und die Auswirkungen von Änderungen messen. Traces zeigen außerdem die Modell- und Tool-Schritte hinter einer falschen Antwort. Dadurch kann die Evaluierung sowohl die Ausführung als auch das Endergebnis abdecken. Die öffentliche Beta ermöglicht es den Anthropic SDKs, der Messages API und Claude Managed Agents, eine Verbindung zu Databricks MLflow herzustellen.