CoreWeave ergänzt Flex Reservations und Spot, um den Zielkonflikt bei GPU-Kapazitäten zu lösen

Die Lücke zwischen reservierter und bedarfsgesteuerter Kapazität

CoreWeave argumentiert, das alte Versprechen der Cloud, klein anzufangen, unbegrenzt zu skalieren und nur für die tatsächliche Nutzung zu zahlen, gelte nicht mehr, sobald Teams mit GPUs skalieren. Der KI-Bedarf verlaufe in Wellen, so das Unternehmen: Training und Evaluierung erfolgten in iterativen Zyklen, während die Inferenz im Tagesverlauf, über Regionen hinweg und rund um unvorhersehbare Produktmomente steigt und fällt.

Das Problem sei laut CoreWeave nicht die Schwankung an sich. Auf Kapazität könne man sich bei steigender Nachfrage nur verlassen, wenn man dauerhaft dafür bezahlt, und „On-Demand“ fühle sich gerade dann nicht immer nach On-Demand an, wenn es darauf ankommt. Das verändere, wie Teams innovieren, so das Unternehmen: Entweder schützten sie frühe Ideen mit Dauerverpflichtungen übermäßig ab, oder sie hielten Projekte klein, weil Skalierung riskant erscheine.

Kunden von CoreWeave nutzen bereits zwei Modi. Reservations decken eine stabile Grundlast ab, On-Demand dient als schrittweise Aufstockung nach dem Best-Effort-Prinzip. Die Lücke bestehe, so CoreWeave, bei variablen und weiter wachsenden Workloads, bei denen die volle 24×7-Kostenstruktur Verschwendung wäre, ein Best-Effort-Zugang als Verfügbarkeitsrisiko aber nicht akzeptabel ist.

Flex Reservations und Spot

Flex Reservations, die in der Preview starten, bieten garantierte Kapazität für Workloads, die schwanken. Kunden wählen eine Obergrenze, und CoreWeave garantiert den Zugriff bis zu diesem Wert. Statt der vollen 24×7-Kosten fällt bei Flex eine Haltegebühr an, die die Garantie aufrechterhält, plus nutzungsabhängige Kosten, wenn Instanzen tatsächlich laufen. CoreWeave sieht sich damit als Vorreiter, weil es Kapazität garantiere, ohne dass Kunden genaue Zeitfenster vorab planen oder Dauerreservierungen überdimensionieren müssten.

Spot ist ab sofort allgemein verfügbar und als günstigere Option für unterbrechungstolerante Aufgaben gedacht. Laut CoreWeave erfolgt eine Unterbrechung explizit und mit mehreren Minuten Vorlauf sowie klaren Signalen, sodass Teams Arbeit von einem Node verlagern können, bevor er beendet wird. Spot wird als Node-Pool-Typ im CoreWeave Kubernetes Service (CKS) bereitgestellt, mit klarer Signalisierung von Preemption und betrieblichen Leitplanken, die Checkpoint-and-Recover-Workflows unterstützen sollen. Als passende Einsatzfälle nennt das Unternehmen Experimente, Backfills, Batch-Aufgaben und Überlauf.

CoreWeave erwartet, dass die meisten Teams eine Mischung nutzen: Stabiles wird reserviert, Flex schützt Lastspitzen, und Spot oder On-Demand kommen zum Zug, wenn Arbeit verlagerbar ist oder Best-Effort genügt. Zudem unterstütze CoreWeave ARENA den Nachweisschritt, indem Teams reale Workloads unter realen Bedingungen von Anfang bis Ende laufen lassen können, während die Flexible Capacity Plans auf den anschließenden Schritt des Hochfahrens und Skalierens zielen.

Inferenz-Optionen über den gesamten Lebenszyklus

Der Beitrag verknüpft die Pläne eng mit der Inferenz im Produktivbetrieb, die CoreWeave als etwas beschreibt, das Tag für Tag unter wechselndem Traffic, engeren Latenzzielen und sich weiterentwickelnden Modellen betrieben wird. Das Unternehmen warnt, dass die Abstraktion der Infrastruktur Teams den Einblick in GPU-Klassen, Laufzeitverhalten, Time-to-Serve-Erwartungen und die tatsächlichen Treiber von Kosten und Leistung nehmen kann.

CoreWeave AI Inference soll den gesamten Lebenszyklus über drei Einstiegspunkte abdecken:

• Serverless Inference in Weights & Biases, aufgebaut auf der CoreWeave-Infrastruktur, ermöglicht Entwicklern, Open-Source-Modelle bei Bedarf auszuführen und in Tokens zu bezahlen, ohne Infrastruktur verwalten zu müssen. Teams können LoRA-artige Adapter für Basismodelle einbringen, um sie leicht anzupassen.
• Dedicated Inference (Preview) ist ein neu angekündigtes Angebot, um Inferenz auf ausgewählten GPU-Klassen und mit offenen Runtimes zu betreiben, mit infrastrukturnaher Kostenstruktur und betrieblicher Transparenz.
• Inference on CKS bietet die meiste Kontrolle: Kunden können direkt auf der Hardware deployen und zusätzliche Dienste neben ihren Modellen betreiben.

Ein gängiges Muster im Produktivbetrieb sei laut CoreWeave, eine Grundlast zu reservieren, Spitzen mit Flex abzusichern und Spot für unkritische Hintergrundaufgaben wie Batch-Scoring, Evals, Backfills oder Überlauf zu nutzen.

Was das für KI-Teams bedeutet

Für Teams mit ungleichmäßiger GPU-Auslastung bieten die Pläne einen Mittelweg zwischen dauerhaft bezahlten Reservierungen und Skalierung nach dem Best-Effort-Prinzip. Details wie Preisniveaus, die Höhe der Haltegebühren und Verfügbarkeitstermine für die Preview-Angebote nennt die Ankündigung nicht.

Cline, das sich selbst als Open-Source-Plattform für agentisches Coding für große globale Unternehmen beschreibt, wird als Kunde genannt, der Inferenz-Workloads zu CoreWeave verlagert. Gründer Saoud Rizwan sagte, das Unternehmen nutze Serverless Inference in Weights & Biases, „um unternehmenstaugliche Umgebungen für unsere besonders sicherheitsrelevanten Kunden zu unterstützen“.