CoreWeave bringt Kimi K2.7 Code in die Serverless Inference und führt das Diagramm von Artificial Analysis an

Was CoreWeave für sich beansprucht

CoreWeave erklärt, im Speed-vs.-Price-Diagramm von Artificial Analysis für Kimi K2.7 Code im attraktivsten Quadranten zu liegen. Nach Angaben des Unternehmens erreicht es unter allen Anbietern des Modells den höchsten Token-Durchsatz bei der niedrigsten Latenz, was es als bestes Preis-Leistungs-Verhältnis bezeichnet.

Artificial Analysis misst die Ausgabegeschwindigkeit in Token pro Sekunde und den Preis pro Million Token. Beim Preis legt es eine Mischung aus Cache-Treffer-, Input- und Output-Kosten im Verhältnis 7:2:1 zugrunde. CoreWeave argumentiert, dies bilde die tatsächliche Verteilung der Workloads genauer ab als der Input- oder Output-Preis allein.

CoreWeave zufolge ist dies das zweite Kimi-Modell in Folge, das das Unternehmen optimiert und mit verbesserter Leistung live geschaltet hat. Dieselbe Bestätigung durch Artificial Analysis habe es bereits für Kimi K2.6 erhalten, worüber es in einem früheren Blogbeitrag berichtet hatte.

Zum Modell

Kimi K2.7 Code wird als jüngstes agentisches Modell von Moonshot AI mit Fokus auf Programmierung beschrieben. Es basiert auf derselben Mixture-of-Experts-Architektur mit einer Billion Parametern wie Kimi K2.6, mit 32 Milliarden aktiven Parametern pro Token und einem Kontextfenster von 256K Token. Die offenen Gewichte werden unter einer Modified-MIT-Lizenz veröffentlicht. Das Modell ist auf langfristige, durchgängige Programmieraufgaben und die agentische Nutzung von Werkzeugen ausgelegt.

Moonshot AI gibt an, dass Kimi K2.7 Code für dieselbe Arbeit etwa 30 % weniger Reasoning-Token verbraucht als K2.6. Laut CoreWeave senkt das Kosten und Latenz in Agenten-Schleifen, die das Modell wiederholt aufrufen.

Die Optimierung: NVFP4 und DFlash

Das Applied-Training-Team von CoreWeave nutzte NVIDIA-GB300-NVL72- und GB200-NVL72-Cluster sowie NVIDIAs Model-Optimizer für die Quantisierung nach dem Training. Das Modell wurde bereits in INT4 vorquantisiert ausgeliefert. Da Blackwell FP4-Formate wie NVFP4 beschleunigt und keine Integer-Formate, mussten die Gewichte laut CoreWeave neu quantisiert werden, um die Blackwell-Hardware voll auszunutzen.

• Basislinie: Das Team prüfte die INT4-Gewichte mit Evals wie Terminal-Bench 2.0, AIME2025, SWE-Bench Pro und SWE-Bench Multilingual, und zwar mit dem Harbor-Framework und dem Terminus-2-Agenten.
• Quantisierung: Eine eigene dreistufige Kalibrierung wandelte die Gewichte in NVFP4 um. Sie kombinierte einen Durchlauf mit kurzem Kontext über allgemeine Gesprächsdaten mit Durchläufen mit langem Kontext über Mathematik- und Programmierdatensätze.
• Speculator: Das Team trainierte ein spekulatives DFlash-Decoding-Modell auf einem Datensatz, der aus dem NVFP4-Checkpoint erzeugt wurde, mit über 1 Million Prompts zu agentischen Aufgaben mit langem Kontext, Tool Calling und Programmierarbeit.

Für das Training verwendete CoreWeave das Projekt TorchSpec der LightSeek Foundation mit einer modifizierten Verlustfunktion namens D-PACE, die von Forschern von Harvard und MIT stammt. Laut CoreWeave brachte sie über alle Kategorien hinweg eine Verbesserung der Acceptance Length von rund 8 %, gemessen mit dem Datensatz SPEED-Bench AL. Das Unternehmen gibt an, die D-PACE-Unterstützung an TorchSpec zurückgespielt zu haben, und habe zudem Unterstützung für häufig berichtete Acceptance-Length-Evals in NVIDIAs AIPerf ergänzt.

Das Training des Draft-Modells lief auf mehreren GB300-NVL72-Racks, die der CoreWeave Kubernetes Service über ein RoCE-Netz verwaltet. Der Produktiv-Endpunkt betreibt die Konfiguration aus NVFP4 und DFlash standardmäßig auf vLLM, ohne dass Kunden zusätzlich etwas einrichten müssen.

Was das für Kunden bedeutet

CoreWeave betont, dass die Verbesserungen auf Modellebene durch den Rest des Stacks verstärkt werden, vom Bare-Metal-Zugang zu NVIDIA-GPUs und schnellen Interconnects über Speicherarchitekturen bis zu individuellem Inference-Tuning. Kunden erhielten die Preis-Leistungs-Vorteile über alle Bereitstellungswege für Inferenz hinweg.

• Serverless Inference: eine API, Bezahlung pro Token, mit allen Optimierungen und ohne eigene Infrastruktur.
• Dedicated Inference: mehr Kontrolle über GPU-Auswahl, Runtime-Konfiguration und Autoscaling, wobei CoreWeave die Infrastruktur verwaltet.
• CoreWeave Kubernetes Service (CKS): direkte Kontrolle über GPUs, Runtimes, Orchestrierung und Kapazität.

Die Ergebnisse sind Angaben des Unternehmens, gestützt auf das zitierte Diagramm von Artificial Analysis. Teams, die Coding-Agenten auf Open-Weight-Modellen betreiben, können Kimi K2.7 Code ab sofort auf CoreWeave Inference ausprobieren.