Databricks: Lakehouse schlägt Data Warehouses bei SQL-Tempo und Kosten

SQL-Leistung: Der Hauptkritikpunkt ist entkräftet

Laut Databricks lautete der häufigste Einwand gegen das Lakehouse bislang SQL-Leistung. 2026 lautet die Antwort, dass es bei Dashboards mit einem Warehouse mithalten kann. Das Unternehmen gibt an, dass seine produktive SQL-Workload-Mischung Ende 2024 um 77 % schneller war als die Ausgangsbasis von 2022. Das entspricht nach eigener Darstellung einer rund vierfachen Verbesserung im Databricks Performance Index.

Der Index basiert laut Databricks auf Milliarden produktiver Abfragen aus BI-, ETL- und Data-Exploration-Workloads und nicht auf einem einzelnen synthetischen Benchmark. Die Verbesserungen gehen auf die vektorisierte Ausführungs-Engine Photon, Abfrageplanung, Caching, Predictive Optimization, Join-Algorithmen und Concurrency-Management zurück. In einem jüngsten Messzeitraum von fünf Monaten verbesserte sich BI um rund 14 %, Data Exploration um 13 % und ETL um 9 %.

Für latenzkritische Workloads verweist Databricks auf Lakehouse//RT, ein Serverless-SQL-Warehouse für analytische Lesezugriffe. Das Unternehmen nennt Latenzen von bis zu 10 ms und bis zu 12.000 Abfragen pro Sekunde. Es greift direkt auf governte Lakehouse-Tabellen zu. Damit entfallen laut Databricks eine separate OLAP-Serving-Kopie, eine CDC-Pipeline und eine Synchronisationsschicht.

Kundenergebnisse und Migrationsgeschwindigkeit

Databricks stützt sich auf Produktivergebnisse von Kunden. Lumen Technologies migrierte 133 TB Telekommunikationsdaten von Cloudera/On-Premises auf das Databricks Lakehouse und maß eine um 90 % bessere Abfrageleistung. Abfragen, die Stunden dauerten, liefen in Minuten durch. Mit Lakehouse Serverless senkte Lumen zudem die Rechenkosten um 30 bis 40 %. Die Migration dauerte 9 Monate und blieb im Zeit- und Budgetrahmen. Trek Bicycle meldete 80 bis 90 % schnellere Retail-Analysen und stellte von einer täglichen Aktualisierung auf drei um.

Der Beitrag nennt folgende Kostenzahlen:

• AXA Japan: 60 % niedrigere Warehouse-Kosten und 70 % niedrigere ETL-Kosten.
• Posti: 30 % geringere Kosten der Datenlandschaft.
• Nationwide: 29 % Gesamtkostensenkung und 33 % niedrigere Kosten für ungenutzte Rechenleistung.
• Vivriti Capital: 25 bis 30 % niedrigere TCO nach dem Wechsel von Amazon Redshift, in etwa 8 Wochen.

Thomas International meldete nach dem Wechsel von Snowflake eine um 40 % höhere Entwicklungsproduktivität. IndusInd Bank migrierte 1,5 PB aus 44 Geschäftsbereichen in 15 Monaten, ursprünglich waren 2,5 Jahre veranschlagt.

Databricks verweist auf sein Tool Lakebridge, das Bewertung, Transpilation und Abgleich für Snowflake, Oracle, Teradata, Redshift, BigQuery und SQL Server automatisiert. Der Migration Agent setzt KI-Agenten ein, um SQL-Skripte zwischen Dialekten zu übersetzen, und verarbeitet bis zu 300 Dateien pro Batch. Diese Werkzeuge machen menschliche Validierung laut Unternehmen nicht überflüssig, verringern aber den manuellen Aufwand.

Über SQL hinaus: Das Architekturargument

Gleichwertige SQL-Leistung sei nur eine Voraussetzung gewesen, so Databricks, und nennt fünf Bereiche, in denen Warehouses aus seiner Sicht zurückfallen.

• KI und ML: Agenten brauchen kontrollierten Zugriff auf Tabellen, Dokumente, Embeddings und Echtzeitsignale. Databricks zufolge erweitert Unity Gateway die Governance auf die KI-Laufzeit, einschließlich der Frage, welche Modelle Agenten aufrufen dürfen, Prompt-Logging, Ratenbegrenzungen sowie MCP-Server und -Tools.
• Unstrukturierte Daten: Strukturierte Tabellen, JSON, Dokumente und Vektor-Embeddings liegen in offenen Formaten im Cloud-Objektspeicher unter einem einheitlichen Governance-Modell.
• Kein Kopieren von Daten: SQL-, Spark-, Streaming-, Python- und ML-Jobs lesen aus denselben Delta-Lake- oder Apache-Iceberg-Tabellen.
• Streaming und Batch: Streaming-Ingestion macht Daten laut Unternehmen innerhalb von Sekunden statt Stunden abfragbar.
• Offene Formate: Unity Catalog bietet eine offene Katalogschicht für mehrere Engines unter Apache-2.0-Lizenz, und UniForm erzeugt Iceberg-kompatible Metadaten aus Delta-Tabellen.

Der Beitrag zitiert Gartner zu einer Entwicklung hin zu einer „analytischen Kontrollebene“ sowie Deloitte, wonach 2026 nur etwa jedes fünfte Unternehmen über ein ausgereiftes Governance-Modell für autonome KI-Agenten verfügte.

Was das für Käufer bedeutet

Der Beitrag ist Anbieter-Marketing, und die Leistungs- und Kostenzahlen stammen von Kunden oder vom Unternehmen selbst und sind nicht unabhängig überprüft. Databricks betont, offen darlegen zu wollen, wo das Warehouse weiterhin Stärken hat. Der Beitrag schließt mit einem Abschnitt dazu, wo das Warehouse weiterhin gewinnt, dieser Teil liegt im vorliegenden Text allerdings nicht vor.

Für Organisationen, die einen Wechsel erwägen, lautet das Argument: Eine einzige governte Plattform kann Analysten, Entwickler, ML-Modelle und KI-Agenten bedienen, und kürzere Migrationszeiten senken die Hürde für den Umstieg. Teams, deren Workload ausschließlich aus Analysten besteht, die SQL auf bereinigten Tabellen schreiben, was das Warehouse laut Databricks lange gut beherrschte, könnten die Lage anders bewerten.