Baseten erklärt, welche Schichten in NVFP4 mit 4 Bit laufen sollten

Warum Quantisierung hilft

Quantisierung macht ein Modell kleiner und schneller, indem Gewichte und Aktivierungen in einem Format mit geringerer Präzision gespeichert werden. NVFP4 stellt jeden Wert mit 4 Bit dar. Laut Baseten verlieren bei so grober Rundung manche Schichten Informationen, auf die sich das Modell stützt, während andere 4 Bit mit kaum messbarem Qualitätsverlust bei der Ausgabe verkraften.

Der Beitrag unterscheidet zwei Arten von Workloads. Bei speichergebundenen Workloads müssen die Gewichte aus dem VRAM in die Recheneinheiten der GPU geladen werden, kleinere Gewichte bedeuten also weniger abzurufende Bytes. FP16 benötigt 2 Byte pro Gewicht, FP8 1 Byte und FP4 0,5 Byte, wodurch sich die abgerufenen Bytes um etwa das Zwei- bis Vierfache verringern. Bei rechengebundenen Workloads liegt der Gewinn im arithmetischen Durchsatz: Auf Hardware wie den NVIDIA-Blackwell-GPUs mit nativer FP4-Unterstützung können FP4-Tensor-Core-Operationen laut Beitrag bis zu die vierfache Spitzenleistung in FLOPS von FP16 erreichen.

Skalen, Blöcke und Kalibrierung

FP4 kann nur 16 Werte darstellen: 0, ±0,5, ±1, ±1,5, ±2, ±3, ±4 und ±6. Da reale Gewichte und Aktivierungen oft deutlich kleiner sind, bildet eine Skala dieses Raster auf den Bereich ab, in dem die Werte liegen. Gewichte und Aktivierungen verwenden getrennte Skalen.

Bei NVFP4 wird ein Tensor in Blöcke aus je 16 aufeinanderfolgenden Werten unterteilt, und jeder Block legt seine eigene Skala fest. Baseten nennt ein Beispiel, warum das wichtig ist: Würde eine einzige Skala ein gesamtes Array abdecken, dessen größter Wert 84 beträgt, während der Rest bei etwa 1 oder 2 liegt, ergäbe sich die Skala 84 ÷ 6 = 14. Jeder Wert unter 3,5 läge dann näher an 0 als an 7.

Die Skalen der Gewichte lassen sich direkt berechnen, weil die Gewichte feststehen. Aktivierungen entstehen erst, wenn eine Eingabe das Modell durchläuft, daher werden ihre Wertebereiche per Kalibrierung gemessen. Dazu wählt man einen Kalibrierdatensatz, der die erwarteten Workloads wie Coding oder agentische Aufgaben abbildet, erfasst die Verteilungen der Aktivierungen, legt einen Clipping-Bereich fest und berechnet für jeden Block aus 16 Werten eine Skala.

Drei Wege, das Format je Schicht zu wählen

Heuristische Regeln. Sie bestimmen die Präzision anhand der Architektur und nicht durch Messung der Sensitivität. Eine gängige Regel quantisiert die Expertenmatrizen von MoE-Modellen mit geringerer Präzision und lässt Attention-Schichten mit höherer Präzision, da Attention oft empfindlicher ist und die Expertenmatrizen den Großteil der Parameter eines MoE-Modells ausmachen. NVIDIA ModelOpt bietet vordefinierte Konfigurationen wie NVFP4_EXPERTS_ONLY_CFG, die nur MoE-Expertenschichten quantisiert, und NVFP4_MLP_ONLY_CFG, die MLP- und MoE-Schichten quantisiert und Attention mit höherer Präzision belässt.

Sensitivitätsbewertung isolierter Schichten. ModelOpt AutoQuantize wählt für jede Schicht ein Format, etwa NVFP4, FP8 oder keine Quantisierung, und zwar die Kombination, die den geschätzten Verlust minimiert, ohne eine vorgegebene Speichergröße zu überschreiten. Unterstützt werden gradientenbasierte Bewertung, KL-Divergenz und Aumann-Shapley. Die Gradientenmethode schätzt, wie stark der Verlust steigen würde, wenn eine Schicht quantisiert wird, während alle übrigen auf der Baseline bleiben.

SaturationQuant. Baseten verweist auf eine Schwäche der isolierten Bewertung: Um den Verlust durch die gleichzeitige Quantisierung mehrerer Schichten abzuschätzen, kann AutoQuantize die Einzelwerte nicht einfach addieren. SaturationQuant baut Sättigung in jeden Wert ein, sodass sich die Werte über ein Rezept mit gemischter Präzision hinweg addieren lassen. Sättigung bedeutet, dass jede Schicht weniger zusätzlichen Verlust verursacht, wenn andere Schichten quantisiert werden.

Was das für die Praxis bedeutet

Der Beitrag versteht die Qualität von NVFP4 als Problem der Zuweisung je Schicht und nicht als einzelnen Schalter. Teams, die sich auf architekturbasierte Voreinstellungen verlassen, verzichten komplett auf eine Messung der Sensitivität, während sensitivitätsbasierte Werkzeuge einen Kalibrierdatensatz und den Vergleich mit dem Modell in voller Präzision benötigen. Baseten argumentiert, dass über Schichten hinweg addierbare Werte einen verlässlicheren Vergleich von Rezepten mit gemischter Präzision ermöglichen. Der vorliegende Quelltext bricht vor den vollständigen Details zu SaturationQuant ab, Ergebnisse der Methode sind daher hier nicht abgedeckt.