CoreWeave wird Gründungsmitglied von Red Hats Open-Source-Projekt llm-d

Was llm-d leisten soll

llm-d erweitert vLLM über die Grenzen eines einzelnen Servers hinaus, heißt es in der Ankündigung von CoreWeave. Die Quelle beschreibt vLLM als den quelloffenen De-facto-Standard für Inferenz-Server, mit Day-0-Modellunterstützung für neue Frontier-Modelle und Support für eine breite Palette an GPUs und Beschleunigern.

Probleme entstehen laut CoreWeave, wenn Foundation-Modelle immer größer werden, ihre Fähigkeiten weiterentwickeln und zunehmend agentische Anwendungen unterstützen. Entwickler müssen diese Modelle dann skaliert bereitstellen und dabei Infrastruktur, Kosten und Latenzen für ein breites Spektrum an Anwendungsfällen im Griff behalten. Das Unternehmen sieht darin den Bedarf an offenen Standards und einer breiteren Zusammenarbeit in der Branche, einschließlich Interoperabilität für Inferenz-Workloads über Plattformen hinweg.

Dafür nutzt llm-d die Orchestrierung von Kubernetes und ergänzt mehrere Inferenzfunktionen, die laut CoreWeave mehr Leistung und geringere Latenz bringen:

• Prefill and Decode Disaggregation, wodurch sich diese Komponenten unabhängig voneinander skalieren lassen
• auf lmcache basierendes KV-Cache-Offloading zur Optimierung der Speichernutzung
• AI Inference Gateway
• KI-gestütztes Netzwerk-Routing für effizientere Datenübertragungen mit der NVIDIA Inference Xfer Library (NIXL)

Cluster und Controller auf Kubernetes-Basis übernehmen zudem die Zuteilung von Rechen- und Speicherressourcen, wenn die Last schwankt, und unterstützen die Interoperabilität über Cloud-Plattformen hinweg.

Die geplanten Beiträge von CoreWeave

Laut CoreWeave wurde die eigens für KI entwickelte Cloud-Plattform von Grund auf auf Kubernetes aufgebaut, und das Unternehmen hat bereits Open-Source-Beiträge wie CoreWeave Tensorizer geleistet. Seine Erfahrung im Betrieb großer Kubernetes- und KI-Inferenz-Deployments will es in llm-d einbringen, mit dem erklärten Ziel, den Aufwand für Entwickler im Alltag zu verringern.

Das Unternehmen nennt mehrere Beitragsfelder: Kubernetes-native Operatoren für Bereitstellung und Verwaltung, Test- und Benchmarking-Umgebungen für Produktions-Workloads sowie Werkzeuge zum Bereitstellen und Überwachen des Inferenz-Stacks im großen Maßstab über mehrere GPUs und Cluster hinweg. Außerdem legt es nach eigenen Angaben den Fokus auf geringere Latenz und optimierte Kosten.

CoreWeave erklärt, es habe CoreWeave Tensorizer mit erweiterter Unterstützung für llm-d zu vLLM beigetragen. Dies ermögliche laut Unternehmen ein mehr als fünfmal schnelleres Laden von Modellen im Vergleich zu HuggingFace beim Hochskalieren aus dem Nullzustand, und zwar über einen "Zero-Copy"-Ansatz. Die Zahl stammt von CoreWeave selbst, weitere Benchmark-Details nennt die Quelle nicht.

Als Cloud-Plattform, die die neueste Hardware wie GB200 als Erste bereitstelle, werde das Unternehmen zudem die Bemühungen anführen, das volle Potenzial dieser Hardware-Fortschritte freizusetzen.

Was das für Entwickler bedeutet

Die kombinierten Fähigkeiten sollen laut CoreWeave die Produktivität von Entwicklern steigern und es erleichtern, einmal zu bauen und auf verschiedenen Cloud-Plattformen zu betreiben, die Kubernetes-Deployments unterstützen. Das Unternehmen weist außerdem darauf hin, dass das Projekt bereits Unterstützung von Anbietern generativer KI-Modelle, Herstellern von KI-Beschleunigern, KI-Cloud-Plattformen und der Entwickler-Community erhalten habe.

CoreWeave lädt sowohl etablierte Unternehmen als auch Start-ups zur Mitarbeit ein und beschreibt llm-d als flexible Plattform, auf der sich aufbauen lasse. Die Ankündigung nennt weder Veröffentlichungstermine noch Preise oder Verfügbarkeitsdetails für das Projekt. Wie schnell diese Funktionen im Produktivbetrieb ankommen, bleibt daher abzuwarten.

In der Ankündigung weist CoreWeave zudem darauf hin, dass das ClusterMAX Rating System von SemiAnalysis das Unternehmen als einzigen Cloud-Anbieter mit der Spitzenbewertung Platinum eingestuft habe.