# Quantisierung lebt in den Skalierungsfaktoren > Drei imp-Fixes, die kein Gewichtsbit verändert haben: ein Block-Skalierungsfaktor, der auf null gerundet wurde, ein Aktivierungs-Skalierungsfaktor, den der Checkpoint schon mitbrachte, und ein FP8-Skalierungsfaktor, den sich K und V geteilt haben. Qwen3-30B-A3B Perplexity 11,3565 auf 10,9566. Source: https://rfriedmann.de/de/blog/quantization-lives-in-the-scales/ · English: https://rfriedmann.de/blog/quantization-lives-in-the-scales/ Published: 2026-11-04 · Track: log · Level: Expert Eine 4-Bit-Zahl kann für sich allein nur `0, ±0.5, ±1, ±1.5, ±2, ±3, ±4, ±6` sein. Alles andere, was ein quantisiertes Modell damit macht, kommt vom Skalierungsfaktor, mit dem sie multipliziert wird. [NVFP4](/de/blog/nvfp4-at-the-bit-level/) stapelt zwei: einen Mikro-Skalierungsfaktor in FP8 E4M3 pro 16 Werte und einen FP32-Skalierungsfaktor pro Tensor. Gewichte werden einmal quantisiert, von dem, der den Checkpoint gebaut hat. Aktivierungen und der KV-Cache werden von der Engine quantisiert, zur Laufzeit, für jedes Token. Genau da kann eine Engine etwas falsch machen, ohne dass sich ein einziges Gewichtsbit ändert. Zwischen dem 2. und 3. November 2026 hat imp drei solche Fälle behoben. Dieser Post geht sie durch, und auch, wie imp sich jetzt selbst gegen vLLM prüft. ## Die Ränder des Formats Alle drei Bugs sitzen am unteren Ende von E4M3, dem 8-Bit-Float, in dem die Skalierungsfaktoren gespeichert sind. | E4M3 | Wert | |---|---| | größter | 448 | | kleinster normaler | 2^-6 = 0,015625 | | kleinster subnormaler | 2^-9 ≈ 0,00195 | | subnormale Schrittweite | 2^-9, also bestenfalls 3 Bit Genauigkeit, nahe dem Boden weniger | Unter 2^-6 verliert ein Wert Genauigkeit. Unter 2^-9 ist er weg. Ein NVFP4-Mikro-Skalierungsfaktor ist die größte Magnitude des Blocks, geteilt durch 6, geteilt durch den Tensor-Skalierungsfaktor. Ein Block aus 16 Werten, dessen größter Eintrag unter 6 × 2^-6 = 0,09375 liegt, bekommt also einen subnormalen Skalierungsfaktor, und ein Block unter 6 × 2^-9 hat nichts mehr, womit er sich darstellen ließe. ## Fix 1: ein Block, der zu null wurde [#3019](https://github.com/kekzl/imp/pull/3019). imp hat mehrere NVFP4-Quantisierer für Aktivierungen: einen für Prompt-Tiles, einen in die MoE-Kernel fusionierten, einen für kleine Batches, einen im Decode-Epilog. Bei einem Block-Skalierungsfaktor unter 2^-9 klemmten ihn manche auf 2^-9. Andere schrieben Byte 0, und ein Skalierungsfaktor von 0 liest den ganzen Block als null. Zur Illustration mit einem Tensor-Skalierungsfaktor von 1: Ein Block, dessen größter Eintrag 0,003 ist, braucht einen Mikro-Skalierungsfaktor von 0,003 / 6 = 0,0005, und das liegt unter 2^-9 ≈ 0,00195. | Eintrag | Byte 0 | geklemmt auf 2^-9 | |---:|---:|---:| | 0,003 | 0 | 1,5 × 2^-9 ≈ 0,00293 | | 0,001 | 0 | 0,5 × 2^-9 ≈ 0,00098 | | 0,0002 | 0 | 0 | Der geklemmte Block ist grob, behält aber seine Form. Der genullte ist weg. Das Symptom war seltsam: Die Perplexity hing von der Prefill-Chunk-Größe ab. Wie viele Zeilen zusammen verarbeitet werden, entscheidet, durch welchen Quantisierer eine Zeile läuft, also bekam derselbe Text durch dieselben Gewichte unterschiedliche Werte. | Qwen3-30B-A3B, deterministische PPL | Chunk 0 | Chunk 32 | Spreizung | |---|---:|---:|---:| | vorher | 11,3565 | 11,0110 | 0,3455 | | jeder Quantisierer klemmt auf 2^-9 | 11,0160 | 11,0190 | **0,0030** | Bytes im Normalbereich haben sich nicht geändert: gleicher Ausdruck, gleiches Ergebnis. Der neue Unit-Test füttert Aktivierungen, die klein genug sind, um den Boden zu treffen. Auf dem alten Code kamen 9216 von 9216 Skalierungsfaktor-Bytes falsch heraus. Der Fix hat auch imps eigene Referenzzahl verschoben. Die festgeschriebene Perplexity von Qwen3-8B, gegen die jeder Pull Request geprüft wird, ging von 11,2587 auf 11,2352, mit Absicht, im selben Commit. Die 11,2587 selbst stammten aus Fix 2, der zuerst gemergt wurde. ## Fix 2: der Skalierungsfaktor, den der Checkpoint schon hatte [#3015](https://github.com/kekzl/imp/pull/3015). imp hat Aktivierungen mit einem Tensor-Skalierungsfaktor von 1,0 quantisiert, jeder Mikro-Skalierungsfaktor war also einfach Block-Amax / 6. Bei Gemma-4 sind die Eingaben der Down-Projection klein. 27,3 % der Shared-MLP-Blöcke und 28,0 % der Expert-Blöcke hatten einen Amax unter 0,09375, ihre Skalierungsfaktoren waren also subnormal, und im schlimmsten Layer waren es 96,6 %. Die Checkpoints bringen die Lösung mit. Wenn ModelOpt oder compressed-tensors ein Modell quantisieren, schicken sie Kalibrierungstext hindurch und speichern für jeden Linear-Layer einen statischen Eingangs-Skalierungsfaktor: den beobachteten Amax geteilt durch 6 × 448 = 2688, sodass die größte erwartete Aktivierung auf den größten Wert fällt, den NVFP4 halten kann. imp hat nichts davon gelesen: 11725 Linear-Layer bei Gemma-4, beim Laden ignoriert. Jetzt teilt jeder Quantisierer durch diesen Skalierungsfaktor, und jede GEMM multipliziert ihn zurück in ihre Ausgabe. | Modell | PPL vorher | PPL nachher | |---|---:|---:| | Qwen3-30B-A3B (ModelOpt) | 11,3565 | **10,9678** | | Gemma-4-26B-A4B, Chat-Turn-Korpus | 18,2854 | **17,8489** | | Qwen3-8B (compressed-tensors) | 11,2949 | 11,2587 | | Qwen3-14B (ModelOpt) | 9,8343 | 9,8152 | Decode- und Prefill-Tempo blieben innerhalb der Spreizung der Paarläufe (Gemma-4 tg128 283,59-284,55 vorher, 282,42-284,97 nachher). Ein Skalierungsfaktor von 1,0 reproduziert das alte Ergebnis bis auf die letzte Stelle, der Schalter `gemm.nvfp4_static_act_scale` lässt sich also für einen sauberen Vergleich abschalten. Der statische Skalierungsfaktor hat einen zweiten Vorteil: Er gilt pro Layer, nicht pro Batch. Der quantisierte Wert einer Zeile hängt nicht davon ab, welche anderen Zeilen zufällig ihren Schritt teilen, und genau das brauchen imps [Determinismus](https://github.com/kekzl/imp/blob/main/docs/DETERMINISM.md)-Regeln. Mit beiden Fixes landet Qwen3-30B-A3B bei 10,9566 / 10,9436 (Chunk 0 / Chunk 32). ## Fix 3: K und V teilen sich einen FP8-Skalierungsfaktor Der FP8-KV-Cache speichert Keys und Values in E4M3 mit einem Skalierungsfaktor pro Layer. Die alte Regel, weiterhin der Default und `legacy` genannt, nahm den Absmax des ersten echten Prefills / 448 mit einer Untergrenze von 1,0. Über Qwen3 0.6B, 1.7B und 8B hinweg sitzen 91 von 92 Layern auf dieser Untergrenze: Keys und Values gehen unskaliert in E4M3. Bei Qwen3 funktioniert das. Bei Gemma-4 nicht, dessen Keys klein sind: Amax etwa 1,6, gegen etwa 16 bei den Values. Mit einem Skalierungsfaktor von 1 waren 17,98 % von Gemma-4s K-Einträgen subnormal oder auf null geflusht. [#3016](https://github.com/kekzl/imp/pull/3016) führt statische Skalierungsfaktoren ein, aus dem Checkpoint oder aus einem Kalibrierungs-Prefill beim Start: `pow2ceil(amax × headroom / 448)`. Zweierpotenzen sind hier wichtig: Die Division durch eine Zweierpotenz verschiebt nur den Exponenten, ein Wert im Normalbereich rundet also genau wie mit Skalierungsfaktor 1, und der Kehrwert ist in FP16 exakt. [#3023](https://github.com/kekzl/imp/pull/3023) gibt K und V dann getrennte Skalierungsfaktoren, weil ein gemeinsamer `max(K, V)`-Faktor von den Values bestimmt wird und die Keys weiter nahe am Boden lässt.
Gemma-4-26B-A4B: K-Einträge in FP8 subnormal oder geflusht
[diagram omitted — see the page for the chart]
Track = 20 %. Headroom 2 für beide kalibrierten Arme. Quelle: die Edge-Counts, die calibrate aus einem FP16-Exponenten-Histogramm des Kalibrierungs-Prefills loggt (#3023).
Gemma-4-26B-A4B: Perplexity über dem FP16-KV-Cache
[diagram omitted — see the page for the chart]
Track = 3,5 %. Chat-Turn-Korpus, FP16-KV 17,5635, legacy 17,9006, gemeinsam 18,0870, getrennt 17,6854.
Die beiden Charts erzählen nicht dieselbe Geschichte, und das ist der ehrliche Teil. Der gemeinsame Skalierungsfaktor hat die meisten subnormalen Keys beseitigt und trotzdem *schlechter* abgeschnitten als legacy. Weniger Subnormale allein sind nicht das Ziel. Pro Position sind die Unterschiede klein: mittlere absolute NLL-Änderung gegenüber FP16 von 0,4692 (legacy), 0,4739 (gemeinsam) und 0,4659 (getrennt), und getrennt mit Headroom 1 oder 4 kommt auf 0,4757 und 0,4789. Der Gewinn von getrennt liegt innerhalb der Spreizung der Headroom-Wahl. Deshalb sind beide neuen Modi per Default aus, und deshalb behält Qwen3, wo kein Arm gewinnt, `legacy`. Decode-Tempo ist nicht das Problem: Gemma-4 FP8-KV tg128 299,13 legacy, 299,25 getrennt. ## Woran du erkennst, dass es stimmt Eine sinkende Perplexity ist kein Beweis. Sie könnte niedriger sein, als das Modell wirklich ist. Deshalb hat [#3021](https://github.com/kekzl/imp/pull/3021) ein Parity-Harness hinzugefügt: dieselben Token-IDs, dieselben Zeilen, bewertet von imp und von vLLM 0.31.0. | Modell | imp | vLLM (gepoolt über Starts) | Δ | vLLM-Spreizung von Start zu Start | |---|---:|---:|---:|---:| | Qwen3-8B NVFP4 | 11,2178 | 11,1951 | +0,203 % | 0,571 % | | Qwen3-8B FP8 (16-Bit-KV) | 10,7604 | 10,7587 | +0,016 % | 0,000 % | | Qwen3-30B-A3B NVFP4 (FP8-KV) | 10,9265 | 10,9528 | -0,240 % | 0,328 % | | Gemma-4-26B-A4B NVFP4 | 17,4793 | 17,7908 | **-1,751 %** | 1,917 % | Zwei Dinge fallen auf. vLLMs NVFP4-Perplexity bewegt sich zwischen Prozessstarts um 0,33 bis 1,92 %. imp ist bytegenau reproduzierbar: Wiederholte Läufe sind gleich. Und bei Gemma-4 liegt imp jetzt *niedriger* als vLLM. Diese Lücke ist mit dem Klemmen aus Fix 1 entstanden; davor lag der Unterschied bei +0,059 %. Sie liegt innerhalb von vLLMs eigener Spreizung von Start zu Start und ist nicht als Defekt erfasst, aber niedriger als die Referenz ist trotzdem eine Abweichung, und sie ist als solche festgehalten. ## Ehrliche Grenzen - **Nicht bitgleich über Chunks bei MoE.** Mit dem statischen Skalierungsfaktor fallen manche MoE-Blöcke weiter unter 2^-9. Gemma-4 wird nach dem Klemmen bei Chunk 32 um 1,5 % schlechter und bei Chunk 0 um 1,8 % besser. - **Der Checkpoint muss ihn haben.** Fix 2 liest die Kalibrierung dessen, der das Modell exportiert hat. Jeder lokale ModelOpt-FP8-KV-Export bringt K- und V-Skalierungsfaktoren von genau 1,0 mit, dort ist der Modus `checkpoint` also gleich `legacy`. - **Kalibrierung kostet ein Feature.** `calibrate` überspringt das Wiederherstellen des persistierten Prefix-Cache. - **Perplexity ist nur eine Metrik.** Die Degenerations-Suite (37 bis 52 Checks pro Modell) lief auf #3016, #3019 und #3023 mit 0 Fehlern durch, aber nichts davon ist ein Task-Benchmark. Keiner der drei Fixes hat ein Gewicht angefasst. Sie haben die Zahl geändert, die neben sechzehn davon steht.