Databricks senkt KI-Coding-Kosten mit einem Gateway um bis zu 90 Prozent

Vom Abbau von Hürden zur Kostenspirale

In einem Blog-Gespräch mit dem Titel "The AI Bill is coming" interviewt Catherine Brown Patrick, der bei Databricks die KI-Produkte verantwortet und die interne KI-Einführung vorangetrieben hat. Er sagt, die Engineering-Leistung sei der wichtigste Engpass des Unternehmens, und der Nutzen von KI-Tools habe sich verändert, als vor etwa einem Jahr die ersten wirklich guten Coding-Modelle erschienen. Laut Databricks steht das Unternehmen inzwischen kurz davor, mit demselben Team den Output zu verdoppeln, gemessen an Pull Requests, ausgelieferten Features und Codezeilen.

Der frühe Rollout sollte die Mitarbeitenden über die erste Hürde bringen: das teuerste Modell und so viele Tokens, wie jemand wollte. Dann explodierte die Nutzung. Weil diese Tools nach Verbrauch und nicht pro Lizenz abgerechnet werden, kann ein einzelner Nutzer laut Patrick im Prinzip unbegrenzt Geld ausgeben. Die Kosten stiegen exponentiell, der Umsatz nicht, und zeitweise drohten die Effizienzgewinne zunichtegemacht zu werden. Databricks zufolge sind die Token-Ausgaben pro Kopf inzwischen ungefähr konstant, obwohl Gesamtnutzung und Nutzen weiter wachsen.

Warum harte Limits wieder verworfen wurden

Ein hartes Ausgabenlimit war der naheliegende erste Schritt, doch Patrick nennt es eine schlechte Erfahrung. Entwickler verlieren mitten in der Aufgabe den Flow, und die Nutzer, die an das Limit stoßen, sind oft die besten. Manche weichen auf private Konten aus, wodurch jede Transparenz verloren geht.

Databricks setzte stattdessen auf schrittweise zunehmende Reibung, umgesetzt über Unity Gateway: zuerst eine Warnung, dann ein Freigabeschritt, dann der Wechsel auf ein günstigeres Modell, damit die Arbeit weitergehen kann. Das Abschalten eines Nutzers ist das letzte Mittel. Entwickler erhalten außerdem regelmäßig eine Aufschlüsselung ihrer eigenen Ausgaben samt Sparvorschlägen, was laut Patrick allein etwa 10 Prozent bringt.

Die vier Stellschrauben und ihre Wirkung

Das Unternehmen nennt vier Stellschrauben: Standardeinstellungen auf effizientere Modelle umstellen, jede Aufgabe an das günstigste Modell weiterleiten, das sie bewältigen kann, Entwicklern Einblick in die Ausgaben geben und den Token-Overhead senken. Den größten Effekt hatte laut Patrick die Verlagerung des Traffics auf neuere, günstigere Modelle, allein mit 50 Prozent oder mehr. Da der gesamte Traffic über Unity Gateway läuft, erfolgt der Wechsel an zentraler Stelle, und Entwickler müssen nichts ändern. Er fügt hinzu, ein aktuelles günstiges Modell leiste ungefähr das, was ein Frontier-Modell vor rund neun Monaten konnte, bei etwa 1 Prozent der Kosten pro Aufgabe, nennt das aber vorläufig.

Databricks baute außerdem einen eigenen Benchmark aus echten Pull Requests im eigenen Repository, bewertet durch das Ausführen von Tests statt durch ein LLM als Richter. Zu den Ergebnissen zählten:

• Ein Open-Source-Modell, GLM 5.2, erreichte bei der Qualität ein Unentschieden mit Opus 4.8, bei rund einem Drittel geringeren Kosten pro Aufgabe.
• Ein Modell, das pro Token 1,7-mal günstiger war, kostete pro Aufgabe mehr, weil es mehr Tokens verbrauchte.
• Dasselbe Modell zeigte in einem anderen Harness mehr als doppelt so hohe Kosten, und die Feinabstimmung von Harness und Caching-Einstellungen sparte fast 50 Prozent.

Routing und der Astra-Rollout

Patrick argumentiert, Budgets könnten nicht entscheiden, welches Modell eine Anfrage bearbeiten soll, das sei Aufgabe des Routings. Laut Databricks senkt der hauseigene Smart Router die durchschnittlichen Kosten pro Aufgabe um mehr als 30 Prozent bei ungefähr der Qualität des teuersten Modells und macht es überflüssig, Nutzer zu fragen, wann sie teurere Modelle wählen sollen.

Der Astra-Rollout an rund 3.500 Entwickler zeigt den Zielkonflikt. Bei anspruchsvollen Aufgaben wie dem Systemdesign war das Modell klar besser, doch die Ausgaben stiegen um etwa 60 Prozent, ohne erkennbare Vorteile bei alltäglichen Aufgaben. Databricks gab Astra in Unity Gateway ein eigenes Budget und wies die Entwickler an, es für schwierige Probleme zu nutzen.

Was das für Engineering-Organisationen bedeutet

Die Schlussfolgerung des Unternehmens lautet, dass jede Engineering-Organisation eine Kontrollschicht braucht. Ein KI-Gateway sitzt zwischen Entwicklern und Modellen und übernimmt Zugriff, Routing, Budgets und Tracing, sodass sich die Ausgaben beobachten, steuern und planen lassen. Databricks betont zudem, dass der Token-Preis allein die Kosten eines Modells schlecht vorhersagt und Teams Modelle deshalb am eigenen Code testen sollten. Der Quelltext bricht vor dem Ende des Interviews ab, und die Zahlen sind Angaben von Databricks aus der internen Nutzung.