CoreWeave erweitert seine Capacity Plans um Spot und Flex Reservations

Flex Reservations: garantierte Kapazität bei niedrigerer Bereithaltungsgebühr

CoreWeave argumentiert, dass klassische Reservierungen ein Problem der Überprovisionierung mit sich bringen. Wer GPUs für den Zugriff rund um die Uhr reserviert, zahlt dafür, ob sie voll ausgelastet sind oder nicht. Das Unternehmen verweist auf eine Pressemitteilung von Harness vom Februar 2025, in der geschätzt wurde, dass 21 % der Ausgaben für Cloud-Infrastruktur in Unternehmen für nicht ausgelastete Ressourcen verschwendet werden.

Flex Reservations sollen den garantierten Zugriff von den vollen Kosten eines 24/7-Dauerbetriebs entkoppeln. Laut CoreWeave bieten sie:

• Garantierten Zugriff bis zu einer Obergrenze der Flex Reservations
• Eine niedrigere Bereithaltungsgebühr, um die Kapazität reserviert zu halten, ob sie im Leerlauf ist oder läuft
• Einen ergänzenden Nutzungstarif, der nur anfällt, wenn GPU-Knoten tatsächlich genutzt werden

In der Praxis verpflichtet sich ein Kunde auf eine festgelegte Spitzenkapazität, zum Beispiel 200 GPUs. Diese Kapazität bleibt wie bei einer klassischen Reservation über die gesamte Laufzeit bis zur Obergrenze reserviert. Fährt der Kunde unter die Spitzenlast herunter, entfällt der Nutzungstarif für ungenutzte Kapazität, und es bleibt nur die Bereithaltungsgebühr. CoreWeave betont, dass sich am Deployment der Workloads nichts ändere, da der Unterschied in der darunterliegenden kommerziellen Struktur liege.

Spot: günstigere GPUs für unterbrechbare Aufgaben

Spot-Instanzen bieten kostengünstigeren GPU-Zugang ohne langfristige Bindung. Sie sind für Workloads gedacht, die Unterbrechungen verkraften, etwa fehlertolerante, experimentelle, stapelbasierte oder opportunistische Jobs.

Wie andere Angebote dieser Art können auch CoreWeave-Spot-Instanzen vorzeitig entzogen werden (Preemption). Nach Angaben von CoreWeave wird die Preemption als klares Signal mit Vorwarnzeit ausgegeben, damit Workloads Zeit haben, Checkpoints zu setzen und Arbeit zu verlagern, bevor ein Knoten beendet wird. Das Unternehmen nennt ein explizites Signal zur Beendigung und ein definiertes Zeitfenster für die Vorwarnung. Zudem behauptet es, andere Clouds böten je nach Produktstufe und Instanztyp typischerweise kürzere oder variable Vorwarnzeiten.

Teams, die Spot zunächst ausprobieren möchten, können CoreWeave ARENA nutzen, das das Unternehmen als kontrollierte Umgebung beschreibt, in der sich End-to-End-Workloads unter produktionsnahen Bedingungen ausführen lassen. Für Inferenz in der Produktion verweist CoreWeave auf Weights and Biases Inference, das auf seiner Infrastruktur aufbaut und eine explizite Auswahl des GPU-Typs enthält.

Für Unterbrechungen konzipieren und Kapazitätstypen mischen

Laut CoreWeave eignet sich Spot am besten für Workloads, die Checkpoints unterstützen, wiederholungssicher, verteilt oder fehlertolerant sowie nicht dringlich oder stapelbasiert sind, etwa Backfills, Experimente und Evaluierungsläufe. Das Unternehmen rät, Unterbrechungen als Designvorgabe zu behandeln. Zu den Empfehlungen zählen:

• Checkpoints so häufig setzen, dass verlorener Fortschritt begrenzt bleibt
• Steuer- und Worker-Knoten trennen, damit die Steuerlogik die Beendigung einer Instanz übersteht
• Orchestrierungs-Frameworks verwenden, die beendete Knoten automatisch neu einplanen
• Kapazitätstypen mischen, mit kritischen Komponenten auf garantierter Kapazität und elastischen Komponenten auf Spot

Viele Teams, so das Unternehmen, kombinieren Flex oder Reservations für Grundlast und Spitzengarantien und verlagern weniger kritische, fehlertolerante Arbeit auf On-Demand oder Spot, um die Gesamtkosten zu senken.

Welches Modell zu welchem Workload passt

CoreWeave gibt eine einfache Orientierung für die vier Modelle:

• Spot: unterbrechbare Aufgaben, bei denen Einsparungen zählen und das System eine Preemption verkraftet
• On-Demand: unvorhersehbare Aufgaben, die auf verfügbare Kapazität warten können, aber keine Unterbrechungen vertragen
• Flex Reservations: garantierter Zugriff für Lastspitzen, ohne außerhalb der Spitzen die vollen 24/7-Dauerkosten zu zahlen
• Reservations: stetige Grundlast-Workloads, die planbare, dauerhaft verfügbare Kapazität benötigen

Für Kunden bedeutet die Änderung eine größere Auswahl, um Kosten und Planungssicherheit an das Verhalten ihrer Workloads anzupassen. Flex Reservations befinden sich noch in der Preview, interessierte Kunden verweist das Unternehmen an sein Team. Preisangaben nennt die Quelle nicht, die tatsächlichen Einsparungen beider Modelle sind daher nicht beziffert.