CoreWeave öffnet Kimi K3 für Dedicated Inference auf GB300 NVL72

So funktioniert das Deployment

Laut CoreWeave unterscheidet sich der Betrieb von Kimi K3 nicht von anderen benutzerdefinierten Deployments auf Dedicated Inference. Kunden laden die Gewichte in den CoreWeave AI Object Storage hoch und legen dann ein Gateway sowie ein Deployment an, das auf diese Gewichte verweist, und wählen dabei GPU-Klasse und Runtime. CoreWeave stellt ein mandantenisoliertes Gateway bereit, das Authentifizierung, Lastverteilung und Routing übernimmt, und verteilt das Deployment auf die gewählten GPUs. Der Endpunkt unterstützt Autoscaling mit minimaler und maximaler Replikazahl.

Abgerechnet wird pro GPU-Stunde der gewählten GPU-Klasse, zusätzliche Egress- oder Ingress-Gebühren fallen nicht an. Die Schritt-für-Schritt-Anleitung in der technischen Dokumentation von CoreWeave umfasst folgende Schritte:

• Die Kimi-K3-Gewichte und das DSpark-Draft-Modell in einem AI-Object-Storage-Bucket bereitstellen.
• Dedicated Inference Zugriff auf den Bucket gewähren.
• Ein Gateway anlegen, um das Modell bereitzustellen.
• Das Deployment mit der validierten Kimi-K3-Engine-Konfiguration erstellen.
• Warten, bis die Gewichte geladen sind und die Engine gestartet ist.
• Eine Inferenzanfrage senden, um den Endpunkt zu prüfen.
• Gateway und Deployment nach Abschluss wieder entfernen.

CoreWeave betont, weder Kimi-K3-Gewichte noch eine Lizenz bereitzustellen. Kunden müssen eine gültige Lizenz mitbringen und sollten zuvor die Lizenzbedingungen von Moonshot AI prüfen.

Das Modell: 2,8 Billionen Parameter, Open Source

CoreWeave bezeichnet Kimi K3 als das größte derzeit verfügbare Open-Source-Modell. Es handelt sich um ein Mixture-of-Experts-Modell mit 2,8 Billionen Parametern. Laut dem Beitrag erreicht es im Intelligence Index von Artificial Analysis, einem unabhängigen Benchmark für Reasoning, Coding und Wissensaufgaben, Stand August einen Wert von 60. Zudem belegt es in der Frontend Code Arena von LMArena Platz 2, in blinden Vergleichen durch Entwickler nur hinter Claude Opus 5 Max.

Das Modell bietet ein Kontextfenster von einer Million Token, native visuelle Verarbeitung und einen stets aktiven Reasoning-Modus namens „Thinking Mode“. Es baut auf zwei von Moonshot entwickelten Techniken auf: Kimi Delta Attention (KDA), einem hybriden linearen Attention-Mechanismus, und Attention Residuals (AttnRes), einem Ersatz für herkömmliche Residualverbindungen.

Benchmarks: GB300 gegen GB200

Die Herausforderung im Produktivbetrieb besteht laut CoreWeave darin, die Zahl gleichzeitiger Anfragen zu steigern und dabei Time to First Token und Decode-Durchsatz pro Nutzer stabil zu halten, insbesondere bei agentischen und mehrstufigen Workloads, die lange Kontexte wiederverwenden. Das Unternehmen testete Kimi K3 auf NVIDIA GB200 und GB300 NVL72 mit jeweils 16 GPUs pro Plattform bei Parallelitätsstufen von 1 bis 32 Nutzern. Die Workloads bestanden aus mehrstufigen Interaktionen mit Tool-Calling bei durchgehend 95 Prozent Cache-Trefferquote.

Auf der GB300 skalierte der Durchsatz bis Parallelität 32 weiter und erreichte 198.000 TPM pro GPU. Die GB200 kam auf dieser Stufe auf 64.000 TPM pro GPU, die GB300 liegt damit nach Angaben von CoreWeave 209 Prozent höher. Der P50-Decode-Durchsatz war auf der GB300 um 133 Prozent höher. Von Parallelität 4 bis 32 hatte die GB300 eine niedrigere P50-TTFT als die GB200, mit Reduktionen von 23 Prozent bei Parallelität 4, 32 Prozent bei 8, 18 Prozent bei 16 und 97 Prozent bei 32.

Die GB200 erreichte bei Parallelität 16 mit 149.000 TPM pro GPU ihren Höchstwert und fiel danach stark ab. Parallelität 32 war damit laut CoreWeave für latenzkritische interaktive Workloads nicht mehr nutzbar. Den Spielraum der GB300 führt das Unternehmen auf größere HBM-Kapazität und zusätzliche KI-Rechenleistung zurück.

Der Serving-Stack

CoreWeave betreibt Kimi K3 auf der Infrastrukturebene mit NVIDIA Dynamo und auf der Runtime-Ebene mit vLLM, unter Nutzung von Optimierungen des vLLM-Teams, von Moonshot AI und NVIDIA. Jedes Deployment umfasst mindestens 2 GB300-NVL72-Nodes (8 GPUs), sodass ein NVL72-Rack bis zu 9 Replikate aufnimmt. Jedes Replikat ist an eine einzelne NVLink-Domäne gebunden, wodurch der Tensor- und Expert-Parallel-Traffic über den NVLink-Switch läuft, statt über Racks hinweg auf IB auszuweichen.

Der Stack bietet außerdem KV-Cache-bewusstes Routing, das wiederholte Anfragen an Replikate mit warmen Präfixen leitet. Laut CoreWeave senkt das die Token-Kosten und hilft bei mehrstufigen agentischen, Coding- und Long-Context-Workloads. Speculative Decoding (MTP oder eigene Speculators wie Inferact/Kimi-K3-DSpark oder RadixArk/Kimi-K3-DSpark) verbessert die Decode-TPS pro Nutzer, und die Trennung von Prefill und Decode erlaubt es, beide Komponenten unabhängig voneinander zu skalieren.

Was das für Kunden bedeutet

Für Teams, die bereits eine Kimi-K3-Lizenz und die Gewichte besitzen, bietet das Angebot einen verwalteten Endpunkt, ohne dass sie den Serving-Stack selbst aufbauen müssen. CoreWeaves Argument: Ein Modell dieser Größe erfordert echte Infrastrukturarbeit und nicht nur ausreichend GPU-Kapazität. Die Leistungswerte stammen aus eigenen Benchmarks von CoreWeave mit einem bestimmten agentischen Workload, bei anderen Nutzungsmustern können die Ergebnisse daher abweichen.