Raphael Friedmann
← Das Log

Quantisierung lebt in den Skalierungsfaktoren

Drei imp-Fixes, die kein Gewichtsbit verändert haben: ein Block-Skalierungsfaktor, der auf null gerundet wurde, ein Aktivierungs-Skalierungsfaktor, den der Checkpoint schon mitbrachte, und ein FP8-Skalierungsfaktor, den sich K und V geteilt haben. Qwen3-30B-A3B Perplexity 11,3565 auf 10,9566.

Eine 4-Bit-Zahl kann für sich allein nur 0, ±0.5, ±1, ±1.5, ±2, ±3, ±4, ±6 sein. Alles andere, was ein quantisiertes Modell damit macht, kommt vom Skalierungsfaktor, mit dem sie multipliziert wird. NVFP4 stapelt zwei: einen Mikro-Skalierungsfaktor in FP8 E4M3 pro 16 Werte und einen FP32-Skalierungsfaktor pro Tensor.

Gewichte werden einmal quantisiert, von dem, der den Checkpoint gebaut hat. Aktivierungen und der KV-Cache werden von der Engine quantisiert, zur Laufzeit, für jedes Token. Genau da kann eine Engine etwas falsch machen, ohne dass sich ein einziges Gewichtsbit ändert. Zwischen dem 2. und 3. November 2026 hat imp drei solche Fälle behoben. Dieser Post geht sie durch, und auch, wie imp sich jetzt selbst gegen vLLM prüft.

Die Ränder des Formats#

Alle drei Bugs sitzen am unteren Ende von E4M3, dem 8-Bit-Float, in dem die Skalierungsfaktoren gespeichert sind.

E4M3 Wert
größter 448
kleinster normaler 2^-6 = 0,015625
kleinster subnormaler 2^-9 ≈ 0,00195
subnormale Schrittweite 2^-9, also bestenfalls 3 Bit Genauigkeit, nahe dem Boden weniger

Unter 2^-6 verliert ein Wert Genauigkeit. Unter 2^-9 ist er weg. Ein NVFP4-Mikro-Skalierungsfaktor ist die größte Magnitude des Blocks, geteilt durch 6, geteilt durch den Tensor-Skalierungsfaktor. Ein Block aus 16 Werten, dessen größter Eintrag unter 6 × 2^-6 = 0,09375 liegt, bekommt also einen subnormalen Skalierungsfaktor, und ein Block unter 6 × 2^-9 hat nichts mehr, womit er sich darstellen ließe.

Fix 1: ein Block, der zu null wurde#

#3019. imp hat mehrere NVFP4-Quantisierer für Aktivierungen: einen für Prompt-Tiles, einen in die MoE-Kernel fusionierten, einen für kleine Batches, einen im Decode-Epilog. Bei einem Block-Skalierungsfaktor unter 2^-9 klemmten ihn manche auf 2^-9. Andere schrieben Byte 0, und ein Skalierungsfaktor von 0 liest den ganzen Block als null.

Zur Illustration mit einem Tensor-Skalierungsfaktor von 1: Ein Block, dessen größter Eintrag 0,003 ist, braucht einen Mikro-Skalierungsfaktor von 0,003 / 6 = 0,0005, und das liegt unter 2^-9 ≈ 0,00195.

Eintrag Byte 0 geklemmt auf 2^-9
0,003 0 1,5 × 2^-9 ≈ 0,00293
0,001 0 0,5 × 2^-9 ≈ 0,00098
0,0002 0 0

Der geklemmte Block ist grob, behält aber seine Form. Der genullte ist weg.

Das Symptom war seltsam: Die Perplexity hing von der Prefill-Chunk-Größe ab. Wie viele Zeilen zusammen verarbeitet werden, entscheidet, durch welchen Quantisierer eine Zeile läuft, also bekam derselbe Text durch dieselben Gewichte unterschiedliche Werte.

Qwen3-30B-A3B, deterministische PPL Chunk 0 Chunk 32 Spreizung
vorher 11,3565 11,0110 0,3455
jeder Quantisierer klemmt auf 2^-9 11,0160 11,0190 0,0030

Bytes im Normalbereich haben sich nicht geändert: gleicher Ausdruck, gleiches Ergebnis. Der neue Unit-Test füttert Aktivierungen, die klein genug sind, um den Boden zu treffen. Auf dem alten Code kamen 9216 von 9216 Skalierungsfaktor-Bytes falsch heraus.

Der Fix hat auch imps eigene Referenzzahl verschoben. Die festgeschriebene Perplexity von Qwen3-8B, gegen die jeder Pull Request geprüft wird, ging von 11,2587 auf 11,2352, mit Absicht, im selben Commit. Die 11,2587 selbst stammten aus Fix 2, der zuerst gemergt wurde.

Fix 2: der Skalierungsfaktor, den der Checkpoint schon hatte#

#3015. imp hat Aktivierungen mit einem Tensor-Skalierungsfaktor von 1,0 quantisiert, jeder Mikro-Skalierungsfaktor war also einfach Block-Amax / 6. Bei Gemma-4 sind die Eingaben der Down-Projection klein. 27,3 % der Shared-MLP-Blöcke und 28,0 % der Expert-Blöcke hatten einen Amax unter 0,09375, ihre Skalierungsfaktoren waren also subnormal, und im schlimmsten Layer waren es 96,6 %.

Die Checkpoints bringen die Lösung mit. Wenn ModelOpt oder compressed-tensors ein Modell quantisieren, schicken sie Kalibrierungstext hindurch und speichern für jeden Linear-Layer einen statischen Eingangs-Skalierungsfaktor: den beobachteten Amax geteilt durch 6 × 448 = 2688, sodass die größte erwartete Aktivierung auf den größten Wert fällt, den NVFP4 halten kann. imp hat nichts davon gelesen: 11725 Linear-Layer bei Gemma-4, beim Laden ignoriert. Jetzt teilt jeder Quantisierer durch diesen Skalierungsfaktor, und jede GEMM multipliziert ihn zurück in ihre Ausgabe.

Modell PPL vorher PPL nachher
Qwen3-30B-A3B (ModelOpt) 11,3565 10,9678
Gemma-4-26B-A4B, Chat-Turn-Korpus 18,2854 17,8489
Qwen3-8B (compressed-tensors) 11,2949 11,2587
Qwen3-14B (ModelOpt) 9,8343 9,8152

Decode- und Prefill-Tempo blieben innerhalb der Spreizung der Paarläufe (Gemma-4 tg128 283,59-284,55 vorher, 282,42-284,97 nachher). Ein Skalierungsfaktor von 1,0 reproduziert das alte Ergebnis bis auf die letzte Stelle, der Schalter gemm.nvfp4_static_act_scale lässt sich also für einen sauberen Vergleich abschalten.

Der statische Skalierungsfaktor hat einen zweiten Vorteil: Er gilt pro Layer, nicht pro Batch. Der quantisierte Wert einer Zeile hängt nicht davon ab, welche anderen Zeilen zufällig ihren Schritt teilen, und genau das brauchen imps Determinismus-Regeln.

Mit beiden Fixes landet Qwen3-30B-A3B bei 10,9566 / 10,9436 (Chunk 0 / Chunk 32).

Fix 3: K und V teilen sich einen FP8-Skalierungsfaktor#

Der FP8-KV-Cache speichert Keys und Values in E4M3 mit einem Skalierungsfaktor pro Layer. Die alte Regel, weiterhin der Default und legacy genannt, nahm den Absmax des ersten echten Prefills / 448 mit einer Untergrenze von 1,0. Über Qwen3 0.6B, 1.7B und 8B hinweg sitzen 91 von 92 Layern auf dieser Untergrenze: Keys und Values gehen unskaliert in E4M3.

Bei Qwen3 funktioniert das. Bei Gemma-4 nicht, dessen Keys klein sind: Amax etwa 1,6, gegen etwa 16 bei den Values. Mit einem Skalierungsfaktor von 1 waren 17,98 % von Gemma-4s K-Einträgen subnormal oder auf null geflusht.

#3016 führt statische Skalierungsfaktoren ein, aus dem Checkpoint oder aus einem Kalibrierungs-Prefill beim Start: pow2ceil(amax × headroom / 448). Zweierpotenzen sind hier wichtig: Die Division durch eine Zweierpotenz verschiebt nur den Exponenten, ein Wert im Normalbereich rundet also genau wie mit Skalierungsfaktor 1, und der Kehrwert ist in FP16 exakt. #3023 gibt K und V dann getrennte Skalierungsfaktoren, weil ein gemeinsamer max(K, V)-Faktor von den Values bestimmt wird und die Keys weiter nahe am Boden lässt.

Gemma-4-26B-A4B: K-Einträge in FP8 subnormal oder geflusht
legacy (Faktor 1)17,98 %kalibriert, K/V gemeinsam2,35 %kalibriert, K/V getrennt0,16 %
Track = 20 %. Headroom 2 für beide kalibrierten Arme. Quelle: die Edge-Counts, die calibrate aus einem FP16-Exponenten-Histogramm des Kalibrierungs-Prefills loggt (#3023).
Gemma-4-26B-A4B: Perplexity über dem FP16-KV-Cache
legacy (Faktor 1)+1,92 %kalibriert, K/V gemeinsam+2,98 %kalibriert, K/V getrennt+0,69 %
Track = 3,5 %. Chat-Turn-Korpus, FP16-KV 17,5635, legacy 17,9006, gemeinsam 18,0870, getrennt 17,6854.

Die beiden Charts erzählen nicht dieselbe Geschichte, und das ist der ehrliche Teil. Der gemeinsame Skalierungsfaktor hat die meisten subnormalen Keys beseitigt und trotzdem schlechter abgeschnitten als legacy. Weniger Subnormale allein sind nicht das Ziel. Pro Position sind die Unterschiede klein: mittlere absolute NLL-Änderung gegenüber FP16 von 0,4692 (legacy), 0,4739 (gemeinsam) und 0,4659 (getrennt), und getrennt mit Headroom 1 oder 4 kommt auf 0,4757 und 0,4789. Der Gewinn von getrennt liegt innerhalb der Spreizung der Headroom-Wahl. Deshalb sind beide neuen Modi per Default aus, und deshalb behält Qwen3, wo kein Arm gewinnt, legacy.

Decode-Tempo ist nicht das Problem: Gemma-4 FP8-KV tg128 299,13 legacy, 299,25 getrennt.

Woran du erkennst, dass es stimmt#

Eine sinkende Perplexity ist kein Beweis. Sie könnte niedriger sein, als das Modell wirklich ist. Deshalb hat #3021 ein Parity-Harness hinzugefügt: dieselben Token-IDs, dieselben Zeilen, bewertet von imp und von vLLM 0.31.0.

Modell imp vLLM (gepoolt über Starts) Δ vLLM-Spreizung von Start zu Start
Qwen3-8B NVFP4 11,2178 11,1951 +0,203 % 0,571 %
Qwen3-8B FP8 (16-Bit-KV) 10,7604 10,7587 +0,016 % 0,000 %
Qwen3-30B-A3B NVFP4 (FP8-KV) 10,9265 10,9528 -0,240 % 0,328 %
Gemma-4-26B-A4B NVFP4 17,4793 17,7908 -1,751 % 1,917 %

Zwei Dinge fallen auf. vLLMs NVFP4-Perplexity bewegt sich zwischen Prozessstarts um 0,33 bis 1,92 %. imp ist bytegenau reproduzierbar: Wiederholte Läufe sind gleich. Und bei Gemma-4 liegt imp jetzt niedriger als vLLM. Diese Lücke ist mit dem Klemmen aus Fix 1 entstanden; davor lag der Unterschied bei +0,059 %. Sie liegt innerhalb von vLLMs eigener Spreizung von Start zu Start und ist nicht als Defekt erfasst, aber niedriger als die Referenz ist trotzdem eine Abweichung, und sie ist als solche festgehalten.

Ehrliche Grenzen#

  • Nicht bitgleich über Chunks bei MoE. Mit dem statischen Skalierungsfaktor fallen manche MoE-Blöcke weiter unter 2^-9. Gemma-4 wird nach dem Klemmen bei Chunk 32 um 1,5 % schlechter und bei Chunk 0 um 1,8 % besser.
  • Der Checkpoint muss ihn haben. Fix 2 liest die Kalibrierung dessen, der das Modell exportiert hat. Jeder lokale ModelOpt-FP8-KV-Export bringt K- und V-Skalierungsfaktoren von genau 1,0 mit, dort ist der Modus checkpoint also gleich legacy.
  • Kalibrierung kostet ein Feature. calibrate überspringt das Wiederherstellen des persistierten Prefix-Cache.
  • Perplexity ist nur eine Metrik. Die Degenerations-Suite (37 bis 52 Checks pro Modell) lief auf #3016, #3019 und #3023 mit 0 Fehlern durch, aber nichts davon ist ein Task-Benchmark.

Keiner der drei Fixes hat ein Gewicht angefasst. Sie haben die Zahl geändert, die neben sechzehn davon steht.