Databricks streamt Unity-Catalog-Daten per Beta direkt auf GPUs

9. November 2026, 16:00Quelle: Databricks

Databricks hat UCDataset als Beta-Version in AI Runtime veröffentlicht. Der native PyTorch-Dataloader streamt Unity-Catalog-Tabellen direkt auf GPUs. Nach Angaben des Unternehmens kann er die Trainingszeit um das Zehnfache verkürzen und macht exportierte Datenkopien sowie eigenen Sharding-Code überflüssig.

Das Wichtigste in Kürze

UCDataset ist als Beta-Version in Databricks AI Runtime verfügbar.
Das Tool streamt Unity-Catalog-Tabellen für PyTorch-Training direkt auf GPUs.
Databricks berichtet in einem simulierten Workload von einer zehnmal kürzeren Trainingszeit.
Die Beta liest Delta-Tabellen, darunter auch Tabellen mit Löschvektoren.
Für Trainingsjobs, die die Live-Tabelle verwenden, gelten die Berechtigungen des Unity Catalog.

Direkter Weg vom Unity Catalog zu den GPUs

Mit UCDataset können Teams eine Unity-Catalog-Tabelle als Datenquelle für verteiltes PyTorch-Training verwenden. Nutzer geben die Tabelle, die vom Modell benötigten Spalten und einen Zeilenfilter an. Anschließend streamt UCDataset für das Training geeignete Batches auf die GPUs des Jobs.

Nach Angaben von Databricks liest der Loader die Dateien der Tabelle direkt aus dem Cloud-Speicher. Er verteilt passende Zeilen gleichmäßig auf GPUs und Data-Loader-Worker. Teams müssen daher keinen eigenen Sampler- oder Sharding-Code schreiben. UCDataset erzeugt außerdem vollständige Batches und kann deshalb mit einem standardmäßigen PyTorch DataLoader und batch_size=None verwendet werden.

Das Paket ist auf PyPI verfügbar und lässt sich mit %pip install databricks-uc-dataset installieren. Die Beta liest in Unity Catalog registrierte Delta-Tabellen, darunter auch Tabellen mit Löschvektoren.

Databricks meldet zehnmal schnelleres Benchmark-Ergebnis

Databricks zufolge behebt UCDataset einen häufigen Engpass beim Training: Daten schnell genug auf GPUs zu übertragen, damit diese ausgelastet bleiben. Teams exportieren Unity-Catalog-Tabellen vor einem Lauf häufig nach Parquet. Dadurch entsteht jedoch eine zweite Kopie, die bei neuen Daten veralten kann und nicht in der Unity-Catalog-Datenherkunft berücksichtigt wird.

In einem simulierten Produktions-Workload streamte Databricks eine 300 GB große Feature-Tabelle über 8 NVIDIA H100 GPUs, um ein Empfehlungsmodell zu trainieren. Das Unternehmen berichtet von einer durchschnittlich zehnmal kürzeren Trainingszeit im Vergleich zum direkten Laden der Daten aus Parquet.

UCDataset kann beim Lesen außerdem Filter und Löschvektoren anwenden. Zeilen, die einem Filter nicht entsprechen, gelangen dadurch nicht in den Trainingscode. Laut Databricks werden neu angehängte Zeilen beim nächsten Lauf automatisch berücksichtigt.

Governance bleibt an der Live-Tabelle gebunden

Trainingsjobs lesen Daten mit der Identität, unter der sie ausgeführt werden, und für die Tabelle gelten die Berechtigungen des Unity Catalog, so Databricks. Dadurch muss keine separat exportierte Datenkopie geschützt werden. In der Beta kann UCDataset allerdings keine Tabellen mit Zeilenfiltern oder Spaltenmasken lesen.

Databricks stellt ein Cookbook-Beispiel für ein Click-through-Rate-Modell mit einer Tabelle namens main.recsys.ctr_features bereit. Das Beispiel trainiert mit 16 GPUs auf zwei Knoten und verwendet eine standardmäßige PyTorch-Schleife für verteiltes Data-Parallel-Training. Um mehr GPUs zu verwenden, ändern Nutzer num_accelerators in der Workload-Konfiguration, während der Trainingscode unverändert bleibt.

Für unstrukturierte Daten in Unity-Catalog-Volumes verweist Databricks auf UCVolumeDataset, das Dateien mit lokalem Caching streamt. Das Unternehmen erweitert UCDataset nach eigenen Angaben außerdem um Unterstützung für multimodales Training über den Typ FILE, darunter Bilder, Audio und Dokumente. Für Nutzer strukturierter Delta-Tabellen bietet die Beta eine Möglichkeit, vorhandene Governance und Live-Daten ohne Exportschritt direkt mit PyTorch-Training zu verbinden.