llm-d 1.0 erscheint mit Produktionsfunktionen für offene KI-Inferenz im großen Maßstab

Welches Problem llm-d 1.0 lösen soll

llm-d wurde 2025 von Red Hat, IBM, Google Cloud, CoreWeave und NVIDIA gegründet und steht heute unter dem Dach der Cloud Native Computing Foundation (CNCF). Die Version 1.0 haben die Beteiligten am 20. Oktober 2026 angekündigt.

Im Kern geht es um ein Kostenproblem. Laut der Ankündigung stellen viele Organisationen fest, dass der Betrieb von KI im großen Maßstab ebenso anspruchsvoll und teuer sein kann wie die Entwicklung der Modelle selbst. Agentische Workloads verschärfen die Lage: Sie greifen fortlaufend auf riesige Kontextmengen zu und nutzen sie wieder, zudem laufen parallele Agenten, die unvorhersehbare Lastspitzen erzeugen können. Die Verwaltung dieses Kontexts verbrauche oft mehr Ressourcen als die Erzeugung der eigentlichen Ausgabe, heißt es in der Ankündigung.

llm-d bietet bereits Prefix-Cache- und lastbewusstes Routing, KV-Cache-Offloading, Prefill/Decode-Disaggregation, Wide Expert Parallelism sowie Batch- und asynchrone Inferenz. Die Software arbeitet mit mehreren Modellservern zusammen, darunter vLLM und SGLang. Mit Version 1.0 soll all das auch für das zugänglich werden, was das Projekt Day-2-Operations nennt, also den laufenden Betrieb von Inferenz in der Produktion.

Neue Funktionen in Release 1.0

Das Projekt nennt mehrere Neuerungen:

• Mandantenfähige Dienstgüte: Eine prioritäts- und fairnessbewusste Flusssteuerung ermöglicht es, dass latenzempfindliche Anfragen und stoßartig auftretende Agenten-Workloads sich eine Flotte teilen, ohne sich gegenseitig auszubremsen.
• Betrieb ohne Ausfallzeiten: Hochverfügbarkeit des Routers mit Hot-Standby und Rolling Updates hält den Datenverkehr bei Upgrades und geplanten Wartungen am Laufen.
• Prefill/Decode-Verwaltung: Replikate werden als eine logische Einheit behandelt, mit koordinierten Rollouts und synchronen Upgrades. Das macht disaggregiertes Serving laut Projekt im Produktivbetrieb praktikabel.
• Stabile Grundlage: Eine v1-Konfigurations-API und ein gehärteter Anfragepfad, validiert über verschiedene Clouds und Beschleuniger hinweg, bieten Anwendern ein Release, auf das sie sich standardisieren können.
• Agentenbewusstes Serving: Sitzungsbewusstes Routing hält mehrstufige Unterhaltungen nahe an ihrem zwischengespeicherten Kontext. Turn-Priority-Scheduling und native Unterstützung für den Zustand der Responses API helfen Agenten, Kontext wiederzuverwenden und Neuberechnungen zu reduzieren.

Berichtete Ergebnisse und Ökosystem

Nach Angaben des Projekts wirken mehr als 500 Beitragende aus über 25 Organisationen mit. Es beschreibt llm-d als breit eingesetzt von Frontier-Modell-Laboren, Hyperscalern, Neoclouds, Herstellern von Hardwarebeschleunigern und großen Unternehmen. Genannt werden Demonstrationen mit Kostensenkungen um das Fünf- bis Zehnfache bei kontextintensiven agentischen Workloads und einem dreimal höheren Ausgabedurchsatz.

In einem Anwendungsfall konnte IBM Research mit offenen Frontier-Modellen und llm-d Hardware für Quantenfehlerkorrektur zu 11,5-mal niedrigeren Inferenzkosten erkunden als mit einer rein proprietären Konfiguration. Die Forschenden berichteten von einer Prefix-Cache-Trefferquote von rund 98 Prozent und gemischten Serving-Kosten von etwa 0,11 US-Dollar pro Million Tokens.

In einer separaten Benchmark-Demonstration setzten Forschende llm-d ein, um GLM 5.2, ein Open-Weight-Modell mit rund 753 Milliarden Parametern, auf weit verbreiteten NVIDIA-GPUs bereitzustellen. Bei einem Workload mit Hunderten parallel laufender agentischer Sitzungen lieferte die Bereitstellung in der Spitze über 6,6 Millionen Ausgabe-Tokens pro Minute und bediente bis zu 3.000 gleichzeitige Coding-Agenten ohne einen einzigen Preemption-Fall. Bei aktuellen Cloud-Mietpreisen wären die Kosten pro Token laut Ankündigung 5- bis 10-mal niedriger gewesen als bei vergleichbaren kommerziellen API-Preisen, mit den größten Einsparungen bei eingabelastigem Datenverkehr, wie er für agentische Workloads typisch ist.

Was das für Unternehmen bedeutet

Für Organisationen, die KI von Experimenten in die Produktion überführen, positioniert das Release llm-d als offene, standardisierte Schicht für verteilte Inferenz. Die GLM-5.2-Demonstration versteht das Projekt als Möglichkeit für Unternehmen, vorhandene GPU-Flotten zu nutzen, um KI auf Frontier-Niveau im großen Maßstab bereitzustellen.

Mark Lohmeyer von Google Cloud sagte, das Unternehmen integriere llm-d 1.0 in die Google Kubernetes Engine und ermögliche den Einsatz über sein gesamtes Portfolio aus Google TPUs und NVIDIA-GPUs. Brian Stevens von Red Hat bezeichnete das Release als "einen standardisierten, gehärteten Kern für verteilte Inferenz". Die Community kündigte an, die Software weiter an neue Hardware und neue Modelle anzupassen, sobald diese erscheinen.

Die Leistungs- und Kostenangaben stammen aus den eigenen Demonstrationen und Benchmark-Workloads des Projekts, daher können die Ergebnisse in anderen Umgebungen abweichen.