OpenRouter findet keine klare Qualitätslücke zwischen fp8, fp4 und fp16

11. November 2026Quelle: OpenRouter

OpenRouter fand in einem Test mit Qwen3.8 27B keinen erkannten Genauigkeitsunterschied zwischen fp8, fp4 und fp16. Das Unternehmen weist jedoch darauf hin, dass sich das Ergebnis auf ein Modell und eine Arbeitslast beschränkt. Die Preisanalyse ergab, dass niedrigere Präzision meist günstiger war, allerdings nicht in jedem Fall.

Das Wichtigste in Kürze

OpenRouter stellte bei 240 gewerteten Aufgaben keinen Genauigkeitsunterschied zwischen fp8, fp4 und fp16 fest.
Der Test umfasste Qwen3.8 27B über sechs Anbieterendpunkte.
fp8 war bei 14 von 24 getesteten Modellen günstiger als 16-Bit.
fp4 war bei 26 von 33 getesteten Modellen günstiger als fp8.
Nutzer können die akzeptierte Präzision mit provider.quantizations festlegen.

Quantisierung tauscht Speicher gegen geringere Präzision

Bei der Quantisierung von LLMs werden die Gewichte eines Modells mit weniger Bits gespeichert als im Format, das beim Training verwendet wurde. Laut OpenRouter nutzen die meisten aktuellen Modelle 16-Bit-FP16 oder BF16, während fp8 8 Bits pro Gewicht und fp4 beziehungsweise int4 4 Bits verwendet.

Bei einem 27B-Modell benötigen die Gewichte laut Tabelle des Unternehmens 54 GB in bf16 oder fp16, 27 GB in fp8 und 13,5 GB in fp4. Diese Angaben beziehen sich ausschließlich auf die Gewichte. Ein laufendes Modell benötigt außerdem Speicher für seinen KV-Cache, der den Aufmerksamkeitszustand für jedes Token im Kontext speichert.

Weniger Bits ermöglichen es, auf derselben GPU ein größeres Modell zu speichern oder mehr Anfragen zu bedienen. Der Nachteil besteht darin, dass jedes Gewicht auf einen Wert gerundet wird, den das kleinere Format speichern kann, was die Genauigkeit verringern kann. OpenRouter zufolge kann die Quantisierung nach dem Training dynamisch oder statisch erfolgen, während das quantisierungsbewusste Training diese Rundung bereits während des Trainings simuliert.

Ergebnisse von Qwen3.8 27B zeigen überlappende Werte

OpenRouter testete am 20. Oktober 2026 280 Aufgaben mit eindeutigen Antworten über sechs Endpunkte, die Qwen3.8 27B bereitstellten. Cerebras stellte das Modell mit fp16 bereit, Parasail, CoreWeave und AkashML mit fp8 sowie Darkbloom und ModelRun mit fp4.

Der Test umfasste mehrstufige Rechenaufgaben, Code-Abläufe, Sortierung, das Wiederfinden von Informationen aus langen Kontexten und eine vierstufige Abfragekette. Bei 240 gewerteten Aufgaben erzielten die sechs Endpunkte zwischen 98,3 % und 99,2 %. Der fp16-Endpunkt von Cerebras und die fp8-Endpunkte lagen zwischen 98,3 % und 98,8 %, während die fp4-Endpunkte 98,3 % und 99,2 % erreichten.

OpenRouter zufolge überschnitten sich die 95-prozentigen Konfidenzintervalle der Gesamtergebnisse, und keine Aufgabengruppe unterschied die Präzisionen voneinander. In einem separaten Multiplikationstest mit 40 Aufgaben erzielte der Darkbloom-fp4-Endpunkt 26 richtige Antworten, verglichen mit 30 bis 33 bei den anderen Endpunkten. Das Unternehmen erklärte, der Unterschied sei zu gering, um ihn als Effekt der Präzision zu identifizieren. Die geschätzte Wahrscheinlichkeit, dass ein Unterschied dieser Größe ohne einen tatsächlichen Unterschied auftreten könnte, liege bei etwa 7,5 %.

OpenRouter betont, dass der Test nicht zeigt, dass eine 4-Bit-Quantisierung für jedes Modell oder jede Arbeitslast unbedenklich ist. Das Unternehmen empfiehlt, einzelne Prompts zu testen, bevor Datenverkehr an einen 4-Bit-Endpunkt weitergeleitet wird.

Geringere Präzision kostet meist weniger, aber es gibt Ausnahmen

OpenRouter untersuchte 1.455 Anbieterendpunkte für 470 Modelle. Von allen Endpunkten machten 865 keine Angaben zur Präzision, 343 waren mit fp8, 123 mit fp4, 70 mit bf16, 20 mit int4, 13 mit nvfp4, 12 mit mxfp4, acht mit fp16 und einer mit fp32 gekennzeichnet. Das Unternehmen erklärte, fp8 sei die am häufigsten angegebene Präzision.

Beim Vergleich des günstigsten Endpunkts jeder Präzision war 8-Bit bei 14 von 24 Modellen günstiger als 16-Bit und bei sieben teurer. 4-Bit war bei 26 von 33 Modellen günstiger als 8-Bit und bei vier teurer. Das mittlere Preisverhältnis lag bei 0,94 für 8-Bit gegenüber 16-Bit und bei 0,76 für 4-Bit gegenüber 8-Bit.

Beispiele zeigen, warum Nutzer nicht davon ausgehen können, dass die niedrigste Präzision immer den niedrigsten Preis hat. Für Qwen3.8 27B lag der angegebene Mischpreis bei 0,581 US-Dollar pro einer Million Tokens für 16-Bit, bei 0,342 US-Dollar für 8-Bit und bei 0,140 US-Dollar für 4-Bit. Für gpt-oss-120b kostete 8-Bit 0,100 US-Dollar, verglichen mit 0,067 US-Dollar bei 16-Bit. MiniMax M3 kostete bei 4-Bit 0,412 US-Dollar und bei 8-Bit 0,388 US-Dollar.

Für API-Nutzer gilt laut OpenRouter: provider.quantizations legt die Präzision fest, die sie erhalten. Wer jede akzeptable Präzision angibt, gibt dem Router mehr als einen Endpunkt als Ausweichmöglichkeit.