CoreWeave unterstützt SkyPilot jetzt offiziell für Multi-Cloud-KI-Workloads

Was SkyPilot für CoreWeave bringt

SkyPilot entstand am Sky Computing Lab der UC Berkeley. CoreWeave beschreibt es als Framework, das die Komplexität der Cloud abstrahieren und die Auswahl, Bereitstellung und Verwaltung von Rechen- und Speicherressourcen auf jeder Infrastruktur automatisieren soll. Da CoreWeave nun als Backend unterstützt wird, können Nutzer SkyPilot-Jobs auf ihrem CoreWeave-Cluster aus der gewohnten SkyPilot-YAML-Datei oder per CLI starten.

Nach Angaben von CoreWeave wählt SkyPilot automatisch die beste Region und GPU aus, darunter Spot- und Preemptible-Instanzen, und übernimmt die Job-Übermittlung für ML-Training oder Inferenz. Das Unternehmen nennt zudem dynamisches Ressourcen-Matching anhand von Rechen- und Speicherbedarf sowie Preiszielen, außerdem integrierte Fehlerbehandlung, intelligente Wiederholungsversuche und Log-Streaming.

Neuerungen bei Netzwerk, Speicher und Skalierung

CoreWeave hebt mehrere konkrete Änderungen der Integration hervor:

• InfiniBand in einer Zeile: Wer den SkyPilot-Ressourcen network_tier: best hinzufügt, konfiguriert InfiniBand, RDMA und Umgebungsvariablen automatisch, ganz ohne manuelles Tuning. Laut CoreWeave zeigt das offizielle NCCL-Testbeispiel eine Interconnect-Bandbreite von 3,6 Tb/s. An anderer Stelle spricht der Beitrag von einer vollautomatischen Konfiguration von 3,2-Tb/s-InfiniBand-Verbindungen.
• Object Storage: SkyPilot erkennt nun CoreWeave-Buckets und enthält in seiner Speicherdokumentation Installations- und Konfigurationsschritte sowie ein cw://-Schema. Laut CoreWeave erreichen per FUSE eingebundene Daten einen Durchsatz von bis zu 7 GB/s pro GPU. Das Unternehmen verknüpft dies mit seiner Speicherschicht LOTA (Local Object Transfer Accelerator).
• Autoscaling: SkyPilot skaliert CoreWeave-Cluster je nach Bedarf nach oben oder unten. Nutzer zahlen laut Unternehmen nur für das, was sie tatsächlich verbrauchen, und halten zugleich die GPU-Auslastung hoch.
• Dokumentation: CoreWeave ist jetzt im SkyPilot-Installationsleitfaden enthalten, samt Schritten zur Anbindung eines CoreWeave Kubernetes Service (CKS) Clusters und zur optionalen Einrichtung von CoreWeave AI Object Storage.

Einsatzbereite Beispiele und Rezepte, etwa Llama 4 FT und vLLM, stehen auf der SkyPilot-Beispielseite bereit. Laut CoreWeave können Teams damit Training, Entwicklung und Serving innerhalb von Minuten bereitstellen.

Zielgruppe und Einstieg

CoreWeave richtet die Integration sowohl an schnell wachsende KI-native Startups als auch an Unternehmen, die auf Tausende GPUs skalieren. Als Vorteile nennt das Unternehmen den Komfort von Slurm bei gleichzeitiger Flexibilität von Kubernetes, eine einheitliche Steuerungsebene über mehrere Kubernetes-Cluster hinweg und die Möglichkeit, Hunderte oder Tausende GPUs mit einem einzigen Befehl bereitzustellen. Zudem verweist es auf seine Kubernetes-on-Bare-Metal-Architektur als Grundlage für die Optimierung von Preis und Leistung.

Laut CoreWeave treibt SkyPilot auf seiner Plattform bereits Produktions-Workloads einer wachsenden Zahl von Kunden an, darunter KI-native Startups, die Jobs auf Hunderten GPUs ausführen. Namen nennt das Unternehmen in dem Beitrag nicht.

Für den Einstieg installiert man SkyPilot und folgt den CoreWeave-Einrichtungsschritten im Installationsleitfaden. Anschließend lässt sich das Netzwerk mit dem InfiniBand/NCCL-Beispiel validieren und CoreWeave Object Storage über das cw://-Schema einbinden. CoreWeave verweist außerdem auf eine Anleitung zum Erstellen von Dev-Pods, zum Serving und zum Multi-Node-Training.

Was das für KI-Teams bedeutet

Für Teams, die SkyPilot bereits nutzen, um Arbeitslasten auf mehrere Clouds zu verteilen, wird CoreWeave durch die Unterstützung zu einem dokumentierten Ziel mit vorkonfiguriertem Netzwerk und Speicher. Teams, die Slurm-artige oder Kueue-basierte Workflows bevorzugen, behalten diese Optionen, da SkyPilot eine Ergänzung und kein Ersatz ist. Die genannten Leistungszahlen stammen von CoreWeave selbst, Angaben zu Preisen oder Verfügbarkeit enthält der Beitrag nicht.