CoreWeave will bei Kimi K2.6 die schnellste Inferenz unter 11 Anbietern bieten

Höchste Ausgabegeschwindigkeit im Benchmark

Nach Angaben von CoreWeave bietet der Inferenzdienst unter allen Anbietern von Kimi K2.6 den höchsten Token-Durchsatz und die niedrigste Latenz. Das Unternehmen verweist auf eine Grafik mit Ausgabe-Tokens pro Sekunde bei einer Eingabe von 10.000 Tokens, Stand 11.05.2026. CoreWeave führt dort mit 205 Tokens pro Sekunde. Die nächsten angezeigten Werte liegen bei 158 und 125, der niedrigste bei 22. In der Grafik sind unter anderem Clarifai, Azure, Cloudflare, Fireworks, SiliconFlow (FP8), Novita, Together.ai (FP4), DeepInfra (FP4) und Parasail aufgeführt.

Artificial Analysis bewertet die Ausgabegeschwindigkeit in Tokens pro Sekunde sowie den Preis pro Million Tokens, den es als Mischung aus Cache-Treffer-, Eingabe- und Ausgabekosten im Verhältnis 7:2:1 berechnet. Die Ansicht „Speed vs. Price“ für Kimi K2.6 vergleicht 11 Anbieter. CoreWeave bezeichnet dies als unabhängige Messung durch Dritte und sagt, das Unternehmen sei derzeit der führende Anbieter im Quadranten mit hoher Geschwindigkeit und niedrigem Preis.

Zu Kimi K2.6

Kimi K2.6 ist das Open-Source-Flaggschiffmodell von Moonshot AI und erschien am 20. April 2026. Laut CoreWeave gehört es zu den am häufigsten genutzten Open-Weight-Modellen und belegt Platz 2 in den Ranglisten von OpenRouter. Es handelt sich um ein Mixture-of-Experts-Modell mit 1 Billion Parametern, davon 32 Milliarden aktiv pro Token, nativer multimodaler Eingabe und einem Kontextfenster von 262K.

CoreWeave beschreibt das Modell als konkurrenzfähig gegenüber führenden proprietären Frontier-Modellen und nennt Werte von 86,3 bei BrowseComp, 80,2 bei SWE-Bench Verified und 66,7 bei Terminal-Bench 2.0. Das Unternehmen ergänzt, das Modell sei zu einer bevorzugten Wahl für Coding-Agenten und mehrstufige Agenten-Frameworks geworden.

NVFP4 und EAGLE3 auf NVIDIA GB300

CoreWeave schreibt das Ergebnis seinem Applied-Training-Team zu, einer internen Forschungsgruppe. Das Team nutzt die NVIDIA-GB300- und GB200-NVL72-Cluster des Unternehmens sowie Verfahren wie NVIDIA Model Optimizer PTQ. Laut CoreWeave brachte das Training eines eigenen NVFP4-quantisierten Modells in Kombination mit EAGLE3 Speculative Decoding die größten Leistungsgewinne bei Kimi K2.6.

Die Modellqualität habe man mit Terminal-Bench 2.0, SWE-Bench Verified, SWE-Bench Pro, GPQA Diamond, AIME 2026 und LiveCodeBench v6 validiert, unter Einsatz von Weights & Biases und Test-Harness-Frameworks. Die Validierung der NVFP4-Gewichte sei unerlässlich, um die Leistung zu steigern, ohne die Qualität zu mindern. Zudem optimiere man den gesamten Stack, vom Bare-Metal-Zugriff auf NVIDIA-Beschleuniger und Hochgeschwindigkeits-Interconnects über Speicherarchitekturen bis zur individuellen Abstimmung des Inferenz-Stacks.

Bereitstellungsoptionen und Folgen für Kunden

CoreWeave argumentiert, dass in der produktiven Inferenz jeder Leistungshebel auch die Kosten beeinflusst, darunter GPU-Auswahl, Quantisierung, Attention-Backend, KV-Cache-Layout, Batch-Größe, Speculative Decoding und Kernels. Echtzeit-Workloads mit direktem Kundenkontakt erforderten niedrige Latenz, Offline-Aufgaben wie Evaluierungen dagegen hohen Durchsatz bei geringen Kosten.

• Serverless Inference: der schnellste Weg zur Bereitstellung, mit vielen Modellen hinter einer einheitlichen API.
• Dedicated Inference: gezielte GPU-Auswahl, Runtime-Konfiguration und Auto-Scaling, wobei CoreWeave die Infrastruktur verwaltet.
• Inference on CoreWeave Kubernetes Service (CKS): direkte Kontrolle über GPUs, Runtimes, Orchestrierung und Kapazitätsmanagement.

Teams, die Coding-Agenten oder andere Agenten-Workloads auf Basis von Kimi K2.6 entwickeln, erhielten laut CoreWeave eine höhere Ausgabegeschwindigkeit zu einem wettbewerbsfähigen Preis und könnten zwischen tokenbasierter Abrechnung und GPU-basierter Skalierung wählen. Das Ranking ist eine Momentaufnahme zum Datum in der Grafik, Preise nennt die Quelle nicht.