CoreWeave: Nicht das Training, sondern die Inferenz bestimmt jetzt die KI

Inferenzmarkt wächst schneller als das Training

Dem Beitrag zufolge rechnet die Futurum Group damit, dass die Ausgaben für Inferenz-Halbleiter in Rechenzentren in fünf Jahren um das 7,4-Fache steigen, beim Training dagegen nur um das 2,7-Fache. CoreWeave sagt, dass sich dadurch die Fragen der Teams verändert haben. Vor zwei Jahren wollte man wissen, ob ein Modell klug genug ist, wie es in Benchmarks abschneidet und wie viele Parameter es hat. Sobald ein Modell echte Nutzer bedient, werden die Fragen operativ: Läuft es, antwortet es schnell, liefert es die richtige Antwort, und was kostet der Betrieb?

Der Beitrag zitiert Futurums Umfrage von 2026 unter 820 KI-Entscheidern, laut der 68 % der Unternehmen das Experimentierstadium bereits hinter sich hatten und sich in der Optimierungs-, Standardisierungs- oder Transformationsphase befanden. Genauigkeit und Verfügbarkeit stehen demnach ganz oben auf der Messliste der Unternehmen, Benchmark-Werte und Parameterzahlen liegen weit davon entfernt.

Agenten vervielfachen die Last

CoreWeave bezeichnet agentische KI als den sich am schnellsten entwickelnden Teil der Inferenz. Futurum prognostiziert für agentische und Reasoning-Inferenz 2026 ein Wachstum von 219 % gegenüber dem Vorjahr, von rund 36 Milliarden Dollar im vergangenen Jahr auf 546 Milliarden Dollar bis 2030. Bis Ende des Jahrzehnts sei allein die agentische Inferenz größer als der gesamte Trainingsmarkt, heißt es im Beitrag. Mehr als 40 % der Unternehmen setzten bereits in irgendeiner Form Agenten in der Produktion ein.

Die Komplexität unterscheidet sich von der eines Chatbots, der antwortet und die GPU wieder freigibt. Ein Agent denkt in Schritten, ruft Werkzeuge auf, holt Informationen und kann parallel weitere Agenten starten, sodass eine einzige Anfrage Dutzende oder Hunderte Modellaufrufe auslösen kann. CoreWeave nennt die daraus entstehenden Probleme:

• Die GPU bleibt über die gesamte Kette hinweg reserviert.
• Das I/O-Muster ist unvorhersehbar.
• Eine Aufgabe kann 10- bis 100-mal mehr Token erzeugen als eine normale Anfrage.
• Ein einziger langsamer Schritt bremst alles Nachgelagerte aus.
• Mehrere koordinierende Agenten erledigen all das gleichzeitig.

Sicherheit bleibt laut der zitierten Umfrage in jeder Reifephase das Thema Nummer eins, und gerade die Teams, die beim Einsatz am weitesten sind, machten sich darüber mehr Sorgen, nicht weniger.

Kapazitätsverzögerungen und Systemausfälle

Dem Beitrag zufolge warten sechs von zehn Unternehmen mehr als vier Monate vom Kauf von GPU-Kapazität bis zur ersten Anfrage in der Produktion. Am häufigsten sind vier bis sechs Monate, nur 6 % schaffen es in weniger als zwei Monaten. Ein Drittel der Unternehmen nennt die Verfügbarkeit von Beschleunigern als größtes Hindernis beim Ausbau der KI-Infrastruktur; zusammen mit Engpässen bei Arbeitsspeicher und Storage sind es mehr als die Hälfte. CoreWeave weist darauf hin, dass spezialisierte KI-Cloud-Anbieter in fünf Jahren voraussichtlich um das 8,3-Fache wachsen, Hyperscaler dagegen nur um das 4,5-Fache.

CoreWeave argumentiert außerdem, Benchmarks führten in die Irre. Sie messen isolierte Durchläufe unter Idealbedingungen, während in der Produktion gleichzeitige Nutzer, schwankende Eingabelängen, Kaltstarts und störende Nachbarn („Noisy Neighbors“) hinzukommen. Das Unternehmen nennt vier typische Schwachstellen: Kaltstarts, plötzliche Lastspitzen, Lücken bei der Observability und schleichende Kostensteigerungen, weil agentische Workloads deutlich mehr Token verbrauchen.

CoreWeaves Full-Stack-Angebot

CoreWeave beschreibt einen Ansatz „von Metal bis Agent“. Der Stack umfasst Bare-Metal-Zugriff auf die neuesten NVIDIA-GPUs, schnelle Netzwerke für das Serving über mehrere Knoten sowie CoreWeave AI Object Storage mit lokalem GPU-Cache, um Kaltstarts zu verkürzen. Der Serving-Stack ist auf KV-Cache-Verwaltung, Batching, Autoscaling und Routing abgestimmt, und CoreWeave Mission Control deckt Sicherheit, Observability und operative Kontrolle ab.

Laut dem Unternehmen lassen sich Workloads von Serverless Inference über Dedicated Inference bis zu Inference on CKS verschieben, ohne die Plattform wechseln zu müssen. Die Schnittstellen seien Framework-unabhängig und mit Open Source kompatibel, direkter Engineering-Support sei inbegriffen, heißt es im Beitrag.

CoreWeave gibt an, als erster Cloud-Anbieter NVIDIA GB200 NVL72 allgemein verfügbar gemacht und als erster NVIDIA GB300 NVL72 bereitgestellt zu haben, und nun als erster NVIDIA Vera Rubin NVL72 hochgefahren und validiert zu haben. Das Unternehmen verweist zudem auf führende Ergebnisse bei MLPerf Inference v6.0 für DeepSeek-R1 auf GB200 und GB300 NVL72 sowie auf ein zweites Mal in Folge vergebenes ClusterMAX-Platinum-Rating von SemiAnalysis.

Was das für Teams bedeutet

Der Beitrag ist die Argumentation eines Anbieters, doch sein Kernpunkt lautet, dass die Wahl des Modells nur der Anfang ist. Teams, die vom Prototyp in die Produktion gehen, stehen vor Lieferzeiten bei Kapazitäten, Latenz unter Live-Last, Sicherheitsisolation und Token-Kosten. CoreWeave sagt, auch die Grenze zwischen Training und Inferenz verschwimme, da sich Modelle durch Reinforcement Learning und Feintuning auf Produktionsdaten verbessern, sodass die Infrastruktur beides bewältigen müsse.