llm-d zieht in die CNCF Sandbox ein: Open-Source-Initiative für verteilte KI-Inferenz gewinnt an Fahrt

Was zur CNCF wechselt

Nach Angaben von CoreWeave durchläuft llm-d nun den Aufnahmeprozess der CNCF Sandbox. Das Unternehmen war im vergangenen Mai gemeinsam mit Red Hat, IBM, Google und NVIDIA als Gründungsbeitrager bei dem Projekt eingestiegen und argumentierte damals, Inferenz im Produktivbetrieb müsse offen entwickelt werden.

CoreWeave beschreibt den Schritt zur CNCF als mehr als einen Wechsel der Projekt-Governance. Immer mehr Pioniere und etablierte Unternehmen behandelten Inferenz im Produktivbetrieb mit der Sorgfalt, Offenheit und Interoperabilität, die moderne KI-Workloads verlangten. Verteilte Inferenz sei inzwischen grundlegende cloudnative Infrastruktur, und um sie gut umzusetzen, brauche es eine offene Koalition mehrerer Anbieter, so das Unternehmen.

Warum Inferenz eine eigene Orchestrierungsschicht braucht

Inferenz im großen Maßstab unterscheidet sich laut CoreWeave grundlegend von klassischen Cloud-Workloads. Sie sei zustandsbehaftet, hardwaresensibel und teuer, wenn sie ineffizient betrieben wird. Das Unternehmen verweist zudem auf KI-Agenten: Was früher eine Serving-Schicht für einzelne Anwendungen war, werde zu einer Echtzeit-Anforderung im Dauerbetrieb. Agentengesteuerte Workflows etwa in Kundensupport, Softwareentwicklung und internen Abläufen seien auf schnelle, zuverlässige Inferenz angewiesen.

Daraus ergeben sich laut dem Beitrag zwei Herausforderungen. Die erste ist die Wirtschaftlichkeit: Inferenz im Produktivbetrieb funktioniere im großen Maßstab nur, wenn Kosten und Leistung am Nutzen der Anwendung ausgerichtet sind. Die zweite ist die Portabilität: Unternehmen wollen Modelle in der Public Cloud, in privaten Rechenzentren und am Netzwerkrand betreiben, ohne an eine einzelne Umgebung oder einen bestimmten Tooling-Stack gebunden zu sein.

CoreWeave zufolge hat Kubernetes die Softwarebereitstellung verändert, die herkömmliche Container-Orchestrierung sei jedoch nicht für die Anforderungen von Inferenz im großen Maßstab konzipiert worden. Bei der LLM-Inferenz können Kosten und Verhalten einer Anfrage je nach Prompt-Länge, Cache-Lokalität und danach, ob sich das Modell in der rechenintensiven Prefill-Phase oder der speichergebundenen Decode-Phase befindet, erheblich variieren. Standardmäßiges Service-Routing sei für diese Dynamik blind, was nach Angaben des Unternehmens zu ineffizienter Platzierung und unvorhersehbaren Latenzen führen kann.

Wo llm-d ansetzt

llm-d führt eine eigens entwickelte Orchestrierungsschicht zwischen übergeordneten Serving-Frameworks und den Inferenz-Engines auf niedriger Ebene ein. Ziel ist es, Routing, Platzierung und Skalierung von Inferenz-Workloads intelligenter zu machen. Laut CoreWeave arbeitet das Projekt mit Kubernetes-nativen Komponenten wie KServe, Gateway API, LeaderWorkerSet und Prometheus zusammen und hilft so, komplexe verteilte Inferenz in eine besser handhabbare und beobachtbare cloudnative Workload zu verwandeln.

Das Projekt sei mit Beitragenden, Branchenvertretern und akademischen Unterstützern aus dem gesamten KI-Infrastruktur-Ökosystem gestartet, vereint durch die Überzeugung, dass Inferenz im Produktivbetrieb durch offene, interoperable Infrastruktur am schnellsten vorankommt. Den eigenen Beitrag beschreibt CoreWeave als Ergebnis des Betriebs von Produktiv-Inferenz unter realen Lastbedingungen, von der frühen Entwicklung über den Produktiveinsatz bis zu verteilter Inferenz im großen Maßstab auf Kubernetes. Teams sollten mit wachsenden Anforderungen mehr Kontrolle, Leistungsoptimierung und operative Eigenverantwortung gewinnen können, ohne architektonische Kontinuität oder den Überblick über Kosten und Laufzeitverhalten zu verlieren, so die erklärte Haltung des Unternehmens.

Was das für Anwender bedeutet

CoreWeave bezeichnet die CNCF als natürliche Heimat für das Projekt und verweist auf transparente Governance, ein bewährtes Rahmenwerk für das Wachstum von Open-Source-Communitys und neutralen Boden für gemeinsam genutzte Infrastruktur. Für Unternehmen liege der Vorteil in einem breiteren Weg, llm-d einzusetzen, zu erweitern und mitzugestalten sowie mit anderen Organisationen zusammenzuarbeiten, die vor denselben Herausforderungen im Produktivbetrieb stehen.

Die llm-d-Community habe die Chance, Inferenz im Produktivbetrieb zugänglicher, portabler und effizienter zu machen, und zwar über das gesamte Spektrum an KI-Infrastrukturumgebungen hinweg, so das Unternehmen. CoreWeave verweist außerdem auf ein Tutorial zur Bereitstellung von llm-d mit Red Hat AI Inference auf der eigenen Plattform. Der Einzug in die Sandbox ist eine frühe Phase, Zeitpläne oder weitere Meilensteine nennt der Beitrag nicht.