Databricks startet Unity Gateway Insights gegen die Verschwendung von KI-Token

Databricks hat Unity Gateway Insights vorgestellt. Das Tool nutzt Genie, um Millionen von Agenten-Traces gemeinsam mit Geschäftsdaten und einer Ontologie zu analysieren. Es soll zeigen, wo Coding-Agenten Token verschwenden, etwa durch wiederkehrende MCP-Fehler, teure Modelle für einfache Aufgaben und Abläufe, die sich in gemeinsamen Skills bündeln lassen.
- Unity Gateway Insights analysiert Agenten-Traces mit Genie und geschäftlichem Kontext.
- Berichte identifizieren MCP-Fehler, teure Modellwahl und wiederkehrende Abläufe.
- Databricks zufolge verursachten sieben MCP-Fehler geschätzte jährliche Kosten von $1.2M.
- Die Traces werden in einer verwalteten Delta-Tabelle im Unity Catalog gespeichert.
- Nutzer können Berichte für den vergangenen Tag, 7 Tage oder 30 Tage erstellen.
Berichte verknüpfen Token-Nutzung mit Entwicklungsarbeit
Teams, die ihren Datenverkehr bereits über Unity Gateway leiten, können AI Gateway > Observability > Insights öffnen und einen Bericht für den vergangenen Tag, 7 Tage oder 30 Tage erstellen. Der Bericht untersucht die Token-Ökonomie einer Einführung von Coding-Agenten und gruppiert Sitzungen nach Arbeitsbereichen.
Insights vergleicht den Anteil eines Arbeitsbereichs an den Sitzungen mit seinem Anteil am Token-Verbrauch. Databricks nennt als Beispiel einen Arbeitsbereich, der 10% der Sitzungen, aber 35% der Token ausmacht und daher vorrangig untersucht werden sollte. Der Bericht ordnet mögliche Verschwendung nach Kosten, verknüpft die Ergebnisse mit Beispielsitzungen und stellt Prompts bereit, die kopiert werden können, um wiederkehrende Abläufe in gemeinsame Skills umzuwandeln.
Nutzer können einem Bericht bis zu 10 Fragen hinzufügen, etwa ob sich das neueste Modell für die Arbeit ihres Teams lohnt. Die Untersuchung kann auch mit Genie fortgesetzt werden. Laut Databricks könnte eine Frage dazu, welcher MCP-Server die meisten Token verschwendet hat und wer für ihn zuständig ist, einen versandfertigen Fehlerbericht hervorbringen.
Drei Quellen für Verschwendung in Agenten-Traces
Databricks zufolge hat die Analyse mehrere Möglichkeiten aufgezeigt, die Kosten beim Einsatz von Coding-Agenten zu senken. Offline-Wiederholungen zeigten keinen Leistungsgewinn durch den Wechsel von Opus 4.8 zu Opus 5. Daher blieb das Unternehmen beim günstigeren 4.8. Die Traces zeigten außerdem, dass einfache Prompts an teure Modelle gesendet wurden. Daraufhin führte Databricks Smart Routing ein.
MCP-Fehler sind ein weiteres Ziel. Wenn ein Tool-Aufruf fehlschlägt, versucht ein Agent möglicherweise einen erneuten Aufruf oder eine Umgehungslösung. Dadurch entstehen zusätzliche Token-Kosten, selbst wenn die Sitzung letztlich erfolgreich ist. Databricks zufolge stammten die geschätzten jährlichen Kosten von $1.2M aus sieben kleinen Fehlern in den eigenen MCP-Servern. Diese Fehler verursachten $499K an verschwendeten Token und 12,000 Stunden, in denen Entwickler auf Agenten warteten. Die Behebung aller sieben Fehler dauerte laut dem Unternehmen dagegen etwa eine Stunde.
Insights erkennt auch wiederkehrende Abläufe. Ein Ablauf gilt als relevant, wenn er in mindestens drei Sitzungen oder bei zwei Entwicklern wiederkehrt. Ein gemeinsamer Skill kann Agenten dann die erforderlichen Schritte vorab vorgeben, statt sie diese während jeder Sitzung erneut ermitteln zu lassen.
In Databricks' verwaltete Datenplattform integriert
Databricks positioniert Unity Gateway Insights als Analyseschicht, die eine vollständige Aufzeichnung von Agentensitzungen benötigt. Dazu gehören Eingaben und Ausgaben, Tool-Aufrufe, Subagenten, Zwischenschritte, Latenz und Token-Kosten. Nach Angaben des Unternehmens zeichnet ein eigenständiges Gateway nur die Anfragen auf, die es passieren. Insights greift dagegen auf automatisch erfasste Traces von Agenten wie Claude Code, Codex und GitHub Copilot zurück, wenn diese mit der ug CLI gestartet werden.
Diese Traces landen in einer einheitlichen Trace-Tabelle. Databricks beschreibt sie als verwaltete Delta-Tabelle im Unity Catalog, die dem Kunden gehört. Genie schreibt SQL und nutzt die Genie Ontology, um Projektnamen und geschäftsspezifischen Kontext zu verstehen. Databricks SQL dient dazu, den Verlauf der Traces einschließlich Millionen von Traces abzufragen.
Der Zugriff ist standardmäßig eingeschränkt, da Traces Prompts, Code und Tool-Ausgaben enthalten können. Laut Databricks kann nur der Eigentümer der Tabelle die Daten abfragen, bis Administratoren den Zugriff über Unity-Catalog-Berechtigungen und Zeilenfilter freigeben. Teams, die Unity Gateway bereits nutzen, sollen zunächst die einheitliche Trace-Tabelle einrichten, Coding-Agenten mit der ug CLI starten und anschließend über AI Gateway, Observability und Insights einen Bericht erstellen.
Databricks: Introducing Unity Gateway Insights


