Kimi K3 unter Beschuss: Offenes Modell mit 2,8 Billionen Parametern muss sich gegen Distillation-Vorwürfe wehren

Rekord-Release trifft auf politischen Streit

Laut dem Beitrag von CoreWeave ist Kimi K3 das erste offene Modell, das 2,8 Billionen Parameter erreicht. Die Nachfrage überforderte die Rechenkapazitäten von Moonshot, sodass das Unternehmen 48 Stunden nach dem Start neue Abonnements aussetzte.

Am 22. Juli erklärte der Direktor des Office of Science and Technology Policy des Weißen Hauses auf X, seine Behörde habe Informationen, wonach Moonshot Anthropics Modell Fable per Distillation genutzt habe, um K3 zu bauen. Er warf dem Unternehmen vor, dafür eine eigens entwickelte interne Plattform eingesetzt zu haben, die Zugangsmethoden rotierte, um einer Entdeckung zu entgehen. Finanzminister Scott Bessent brachte Sanktionen ins Gespräch. Moonshot wies den Vorwurf zurück.

Anschließend veröffentlichte das Unternehmen die Gewichte planmäßig und legte einen vollständigen technischen Bericht zu Architektur, Pre-Training, Post-Training, Infrastruktur und Evaluierungen vor. CoreWeave betont, "Reports are not proof of provenance" (Berichte sind kein Herkunftsnachweis), nennt das Dokument aber ein umfangreiches, konkretes und überprüfbares Artefakt. Der Bericht beschreibe eine Post-Training-Pipeline, die den größten Teil von K3s Sprung ohne Claude erkläre und zugleich verständlich mache, warum sich das Modell mitunter wie Claude anfühle.

Was der technische Bericht zum Design sagt

K3 ist ein nativ multimodales Mixture-of-Experts-Modell mit insgesamt 2,8 Billionen Parametern, davon 104,2 Milliarden pro Token aktiviert, 93 Schichten, einem Vokabular von 160.000 Tokens und einem Kontextfenster von bis zu 1 Million Tokens. CoreWeave hebt drei architektonische Ideen hervor:

• Hybride Attention: Jeder Block stapelt drei Kimi-Delta-Attention-Schichten (KDA), gefolgt von einer Gated-MLA-Schicht, also im Verhältnis 3:1. Eine abschließende Gated-MLA-Schicht sorgt am Ende für globale Attention.
• Attention Residuals: Jede Schicht nutzt eine lernbare Pseudo-Query, um gezielt auf frühere Repräsentationen zuzugreifen. K3 setzt Block AttnRes mit 8 Blöcken zu je 12 Schichten ein, um Speicherbedarf und Kommunikation zwischen den Stufen zu senken.
• Stable LatentMoE: Geroutete Experten arbeiten in einem kompakten latenten Raum, während zwei Shared Experts in voller Breite gemeinsame Transformationen übernehmen. Dadurch sind 896 geroutete Experten mit 16 aktiven pro Token bezahlbar.

Bei dieser Sparsität nennt der Bericht zwei Fehlerbilder: explodierende Aktivierungen im gerouteten Zweig und das Load Balancing über fast tausend Experten. Die Lösungen sind eine RMSNorm vor der Up-Projection samt einer neuen Aktivierungsfunktion namens SiTU-GLU sowie ein Verfahren namens Quantile Balancing.

K3 verwendet in allen MLA-Schichten No Position Encoding und extrapoliert deshalb auf 1 Million Tokens ohne RoPE-Rescaling oder YaRN-Interpolation. Für alle, die die Gewichte selbst betreiben wollen: Das quantisierungsbewusste Training läuft ab dem SFT mit MXFP4-Expertengewichten und MXFP8-Aktivierungen. Der Vision-Tower MoonViT-V2 ist ein Encoder mit 27 Schichten und rund 0,4 Milliarden Parametern, der von Grund auf trainiert wurde.

Benchmarks und Preise

K3 liegt bei vier der zwölf Benchmarks im Bericht auf Platz eins: ProgramBench mit 77,8, SWE-Marathon mit 42,0, BrowseComp mit 91,2 und AutomationBench mit 30,8. Platz zwei belegt es bei Terminal-Bench 2.1 (88,3), FrontierSWE (81,2), Kimi Code Bench 2.0 (72,9), JobBench (54,3) und CharXiv (91,3). Bei Zerobench liegt es mit 41,0 gleichauf mit GPT-5.5.

Schwächer schneidet es bei DeepSWE ab, wo seine 67,5 hinter GPT-5.6 Sol mit 73,0 und Fable 5 mit 70,0 liegen, sowie bei GDPval-AA v2, wo seine 1668 Elo hinter Fable 5 mit 1747 und GPT-5.6 Sol mit 1736 zurückbleiben. Alle Ergebnisse beziehen sich auf die maximale oder hohe Reasoning-Stufe des jeweiligen Modells.

Bei den Kosten dreht sich das Bild laut CoreWeave um, allerdings mit einer Einschränkung. Auf Moonshots internem Kimi Code Bench 2.0 liegt K3 4,0 Punkte hinter Fable 5, kostet dafür aber nur 38 Prozent. Bei hohem Aufwand erreicht es den Wert von Claude Opus 4.8 bei maximalem Aufwand zu etwa einem Drittel der Kosten. Bei BrowseComp erzielt es mit 2,03 US-Dollar pro Aufgabe die Bestmarke, halb so viel wie GPT-5.6 Sol. Die API-Preise betragen 0,30 US-Dollar pro Million Input-Tokens bei Cache-Treffer, 3,00 US-Dollar ohne Cache-Treffer und 15,00 US-Dollar für Output.

Ein Neuentwurf statt eines kleinen Schritts von K2.7

CoreWeave weist darauf hin, dass K2.7 im Kern noch ein K2-Modell war, mit einem MoE-Backbone aus 61 Schichten, 384 gerouteten Experten, MLA-Attention, SwiGLU-Aktivierungen und einem Kontextfenster von 128K. K3, kaum einen Monat später erschienen, ist ein kompletter Neuentwurf mit 93 Schichten, 896 gerouteten Experten, hybrider KDA- und MLA-Attention, SiTU-GLU und einem Kontext von 1 Million Tokens.

Beim Coding lag K2.7 auf Kimi Code Bench v2 mit 62,0 gegenüber 69,0 hinter GPT 5.5. K3 erreicht unter Claude Code 73,7 und unter Kimi Code 72,9. CoreWeave beschreibt das als Wechsel vom Verfolger von GPT 5.5 zum Modell, das nur noch hinter Claude Fable 5 liegt. Der Vergleich sei allerdings nur als Tendenz zu verstehen, da sich Harnesses und Benchmark-Versionen unterscheiden.

Beim Reasoning bewahrt K3 den Reasoning-Verlauf über lange Agenten-Sitzungen hinweg und trainiert getrennte Experten für niedriges, hohes und maximales Reasoning, bevor sie im Post-Training zu einem Modell zusammengeführt werden. Auf Moonshots Benchmark zur Replikation von Black-Box-Systemen erreicht K2.6 einen Wert von 0,560, GPT 5.5 kommt auf 0,893 und Claude Opus 4.8 auf 0,918, während K3 mit 1,000 die Aufgabe vollständig löst.

Warum der Begriff Distillation hier wichtig ist

CoreWeave erläutert, dass Distillation bedeutet, dass ein Modell von einem anderen lernt statt nur aus Rohdaten, und dass der Streit um K3 davon abhängt, welche von mindestens drei Methoden gemeint ist. Bei der klassischen Knowledge Distillation wird ein kleineres Schülermodell auf der vollständigen Wahrscheinlichkeitsverteilung des Lehrermodells über die Tokens trainiert statt auf einer einzelnen Endantwort, wobei die KL-Divergenz an jeder Tokenposition minimiert wird. Dieses dichte Signal enthält Informationen, die ein One-Hot-Label nicht liefert, etwa welche falschen Antworten fast richtig sind.

Für die Verfolgung der Geschichte ist praktisch entscheidend, dass der Vorwurf und die Beweislage zwei getrennte Fragen sind. Gewichte und Bericht sind öffentlich, sodass externe Forscher Moonshots Darstellung des K3-Trainings überprüfen können. Das Fazit des Beitrags selbst fällt zurückhaltend aus: Der Bericht biete eine Pipeline, die einen großen Teil des Leistungssprungs erkläre, sei aber in keine Richtung ein Beweis.