Databricks AI Runtime ist allgemein verfügbar: Modelle auf NVIDIA-GPUs trainieren
Databricks AI Runtime (AIR) ist ab sofort allgemein verfügbar. Teams können damit Modelle auf serverlosen NVIDIA-GPUs trainieren und feintunen, ohne GPU-Infrastruktur selbst verwalten zu müssen. Angekündigt wurde der Schritt auf der GTC Berlin, wo Databricks und NVIDIA ihre Zusammenarbeit bei der Anpassung offener Modelle mit Unternehmensdaten ausbauen.
- Databricks AI Runtime (AIR) ist allgemein verfügbar und wurde auf der GTC Berlin angekündigt.
- AIR trainiert und feintunt Modelle auf serverlosen NVIDIA-GPUs, auch mit verteiltem Training über mehrere Knoten.
- Der Dienst unterstützt NVIDIA NeMo, NGC-Container, Docker und private Registries.
- Nemotron 3.5 Lightning und Super VL lassen sich von Anfang an laden, anpassen und bereitstellen.
- Genie Code hilft beim Schreiben von Skripten und beim Debuggen von Trainings- und GPU-Leistungsproblemen.
Serverlose GPUs für Training und Fine-Tuning
Laut Databricks können Entwicklerinnen und Entwickler mit AIR ihren bestehenden Code und ihre Container skaliert auf serverlosen NVIDIA-GPUs ausführen, während Databricks die zugrunde liegenden Cluster und das Netzwerk verwaltet. Der Dienst unterstützt verteiltes Training über mehrere Knoten, sodass sich größere Workloads auf mehrere GPU-Knoten verteilen lassen. NVIDIA Quantum InfiniBand sorgt für ein Netzwerk mit hoher Bandbreite und geringer Latenz per Remote Direct Memory Access (RDMA), die NVIDIA Collective Communications Library (NCCL) übernimmt die Kommunikation zwischen den GPUs.
Entwickler können Lakehouse-Daten aufbereiten und in GPU-gestützten Notebooks oder über die AIR CLI experimentieren. Zu den Standardumgebungen gehören PyTorch und CUDA, außerdem lassen sich Frameworks für verteiltes Training nutzen oder eigene Bibliotheken und individuelle Trainingsschleifen einbringen. Für wiederholbare Läufe kann Lakeflow Jobs das Training zusammen mit Datenaufbereitung und Evaluierung orchestrieren, Declarative Automation Bundles unterstützen CI/CD für diese Workflows.
MLflow verfolgt Experimente und GPU-Auslastung. Unity Catalog steuert den Zugriff auf Trainingsdaten, und native Systemtabellen zeigen die CPU- und GPU-Nutzung.
NVIDIA-Software, Container und Nemotron-Modelle
AIR unterstützt nun Docker und private Registries, sodass Entwickler eigene containerisierte Umgebungen mitbringen können. GPU-optimierte Container aus dem NVIDIA NGC Catalog lassen sich mit der Databricks Artifact Registry verwenden. Environment Caching soll die Einrichtungszeit verkürzen, wenn Teams Experimente erneut ausführen, und mit installierbaren NVIDIA-Profiling-Tools lassen sich Engpässe bei der GPU-Leistung untersuchen.
Databricks zufolge können Kunden mit der Veröffentlichung von Nemotron 3.5 Lightning und Super VL diese Modelle von Anfang an auf der Plattform laden, damit experimentieren, sie anpassen und bereitstellen. AIR unterstützt die Anpassung mit NVIDIA NeMo und NeMo Automodel. Databricks und NVIDIA haben außerdem Nemotron-Cookbooks veröffentlicht, die den Einstieg erleichtern sollen.
Die Anpassung beschränkt sich nicht auf Sprachmodelle. AIR enthält einen validierten Fine-Tuning-Workflow für NVIDIA Kumo Anomaly, ein offenes Forschungsmodell zur Anomalieerkennung in Zeitreihen, inklusive MLflow-Tracking und Checkpoints im Unity Catalog. Databricks zufolge eröffnet die Kombination mit der Genie Ontology einen Weg zu Agenten, die ungewöhnliche Muster in Zeitreihendaten mit geschäftlicher Bedeutung verknüpfen.
Genie Code und das Beispiel eines Support-Agenten
Genie Code kann Entwickler dabei unterstützen, Trainingsskripte in einem Notebook zu schreiben und anzupassen. Die Entwickler beschreiben die gewünschten Änderungen, bitten um Hilfe bei der Konfiguration eines Fine-Tuning-Laufs und arbeiten Fehler ab. Den vorgeschlagenen Code prüfen sie anschließend, bevor sie ihn ausführen. Databricks zufolge kann Genie Code auch Modellcode debuggen, GPU-Leistungsengpässe wie Speicherprobleme und Kommunikations-Overhead erkennen und NVIDIA-spezifische Empfehlungen zu CUDA, cuDNN, NCCL und Profiling-Tools anwenden.
Als Beispiel beschreibt Databricks ein Unternehmen, das einen technischen Support-Agenten baut. Das Team könnte mit einem Nemotron-Modell beginnen, es mit NeMo auf AIR anhand gelabelter Support-Tickets feintunen, die Ergebnisse in MLflow nachverfolgen und es anschließend über Databricks Model Serving für Echtzeit-Inferenz bereitstellen. Der resultierende Agent würde eingehende Support-Anfragen interpretieren und Antworten erzeugen, die auf den Produkten und Troubleshooting-Abläufen des Unternehmens basieren.
Was das für Unternehmensteams bedeutet
Die Veröffentlichung zielt auf ein bekanntes Problem: Der Zugang zu GPUs ist nur ein Teil der Arbeit, Teams müssen außerdem Trainingsjobs konfigurieren, Daten steuern und Infrastruktur verwalten. Indem Training, Evaluierung und Bereitstellung innerhalb der Databricks-Plattform bleiben, wollen die Unternehmen diesen Aufwand verringern und mehr Zeit dafür schaffen, Modelle an den geschäftlichen Anforderungen zu messen.
Hanlin Tang, CTO für Neural Networks bei Databricks, sagte, AIR werde "den Aufstieg angepasster Modelle in Unternehmen beschleunigen". Pat Lee, VP of Strategic Partnerships bei NVIDIA, erklärte, die Unternehmen brächten offene Modelle wie Nemotron und Kumo zu gesteuerten Unternehmensdaten. Angaben zu Preisen und regionaler Verfügbarkeit enthält die Ankündigung nicht.
