# Quantisierung lebt in den Skalierungsfaktoren
> Drei imp-Fixes, die kein Gewichtsbit verändert haben: ein Block-Skalierungsfaktor, der auf null gerundet wurde, ein Aktivierungs-Skalierungsfaktor, den der Checkpoint schon mitbrachte, und ein FP8-Skalierungsfaktor, den sich K und V geteilt haben. Qwen3-30B-A3B Perplexity 11,3565 auf 10,9566.
Source: https://rfriedmann.de/de/blog/quantization-lives-in-the-scales/ · English: https://rfriedmann.de/blog/quantization-lives-in-the-scales/
Published: 2026-11-04 · Track: log · Level: Expert
Eine 4-Bit-Zahl kann für sich allein nur `0, ±0.5, ±1, ±1.5, ±2, ±3, ±4, ±6` sein.
Alles andere, was ein quantisiertes Modell damit macht, kommt vom Skalierungsfaktor,
mit dem sie multipliziert wird. [NVFP4](/de/blog/nvfp4-at-the-bit-level/) stapelt
zwei: einen Mikro-Skalierungsfaktor in FP8 E4M3 pro 16 Werte und einen
FP32-Skalierungsfaktor pro Tensor.
Gewichte werden einmal quantisiert, von dem, der den Checkpoint gebaut hat.
Aktivierungen und der KV-Cache werden von der Engine quantisiert, zur Laufzeit, für
jedes Token. Genau da kann eine Engine etwas falsch machen, ohne dass sich ein einziges
Gewichtsbit ändert. Zwischen dem 2. und 3. November 2026 hat imp drei solche Fälle
behoben. Dieser Post geht sie durch, und auch, wie imp sich jetzt selbst gegen vLLM
prüft.
## Die Ränder des Formats
Alle drei Bugs sitzen am unteren Ende von E4M3, dem 8-Bit-Float, in dem die
Skalierungsfaktoren gespeichert sind.
| E4M3 | Wert |
|---|---|
| größter | 448 |
| kleinster normaler | 2^-6 = 0,015625 |
| kleinster subnormaler | 2^-9 ≈ 0,00195 |
| subnormale Schrittweite | 2^-9, also bestenfalls 3 Bit Genauigkeit, nahe dem Boden weniger |
Unter 2^-6 verliert ein Wert Genauigkeit. Unter 2^-9 ist er weg. Ein
NVFP4-Mikro-Skalierungsfaktor ist die größte Magnitude des Blocks, geteilt durch 6,
geteilt durch den Tensor-Skalierungsfaktor. Ein Block aus 16 Werten, dessen größter
Eintrag unter 6 × 2^-6 = 0,09375 liegt, bekommt also einen subnormalen
Skalierungsfaktor, und ein Block unter 6 × 2^-9 hat nichts mehr, womit er sich
darstellen ließe.
## Fix 1: ein Block, der zu null wurde
[#3019](https://github.com/kekzl/imp/pull/3019). imp hat mehrere NVFP4-Quantisierer für
Aktivierungen: einen für Prompt-Tiles, einen in die MoE-Kernel fusionierten, einen für
kleine Batches, einen im Decode-Epilog. Bei einem Block-Skalierungsfaktor unter 2^-9
klemmten ihn manche auf 2^-9. Andere schrieben Byte 0, und ein Skalierungsfaktor von 0
liest den ganzen Block als null.
Zur Illustration mit einem Tensor-Skalierungsfaktor von 1: Ein Block, dessen größter
Eintrag 0,003 ist, braucht einen Mikro-Skalierungsfaktor von 0,003 / 6 = 0,0005, und das
liegt unter 2^-9 ≈ 0,00195.
| Eintrag | Byte 0 | geklemmt auf 2^-9 |
|---:|---:|---:|
| 0,003 | 0 | 1,5 × 2^-9 ≈ 0,00293 |
| 0,001 | 0 | 0,5 × 2^-9 ≈ 0,00098 |
| 0,0002 | 0 | 0 |
Der geklemmte Block ist grob, behält aber seine Form. Der genullte ist weg.
Das Symptom war seltsam: Die Perplexity hing von der Prefill-Chunk-Größe ab. Wie viele
Zeilen zusammen verarbeitet werden, entscheidet, durch welchen Quantisierer eine Zeile
läuft, also bekam derselbe Text durch dieselben Gewichte unterschiedliche Werte.
| Qwen3-30B-A3B, deterministische PPL | Chunk 0 | Chunk 32 | Spreizung |
|---|---:|---:|---:|
| vorher | 11,3565 | 11,0110 | 0,3455 |
| jeder Quantisierer klemmt auf 2^-9 | 11,0160 | 11,0190 | **0,0030** |
Bytes im Normalbereich haben sich nicht geändert: gleicher Ausdruck, gleiches Ergebnis.
Der neue Unit-Test füttert Aktivierungen, die klein genug sind, um den Boden zu treffen.
Auf dem alten Code kamen 9216 von 9216 Skalierungsfaktor-Bytes falsch heraus.
Der Fix hat auch imps eigene Referenzzahl verschoben. Die festgeschriebene Perplexity
von Qwen3-8B, gegen die jeder Pull Request geprüft wird, ging von 11,2587 auf 11,2352,
mit Absicht, im selben Commit. Die 11,2587 selbst stammten aus Fix 2, der zuerst gemergt
wurde.
## Fix 2: der Skalierungsfaktor, den der Checkpoint schon hatte
[#3015](https://github.com/kekzl/imp/pull/3015). imp hat Aktivierungen mit einem
Tensor-Skalierungsfaktor von 1,0 quantisiert, jeder Mikro-Skalierungsfaktor war also
einfach Block-Amax / 6. Bei Gemma-4 sind die Eingaben der Down-Projection klein. 27,3 %
der Shared-MLP-Blöcke und 28,0 % der Expert-Blöcke hatten einen Amax unter 0,09375, ihre
Skalierungsfaktoren waren also subnormal, und im schlimmsten Layer waren es 96,6 %.
Die Checkpoints bringen die Lösung mit. Wenn ModelOpt oder compressed-tensors ein Modell
quantisieren, schicken sie Kalibrierungstext hindurch und speichern für jeden Linear-Layer
einen statischen Eingangs-Skalierungsfaktor: den beobachteten Amax geteilt durch
6 × 448 = 2688, sodass die größte erwartete Aktivierung auf den größten Wert fällt, den
NVFP4 halten kann. imp hat nichts davon gelesen: 11725 Linear-Layer bei Gemma-4, beim
Laden ignoriert. Jetzt teilt jeder Quantisierer durch diesen Skalierungsfaktor, und jede
GEMM multipliziert ihn zurück in ihre Ausgabe.
| Modell | PPL vorher | PPL nachher |
|---|---:|---:|
| Qwen3-30B-A3B (ModelOpt) | 11,3565 | **10,9678** |
| Gemma-4-26B-A4B, Chat-Turn-Korpus | 18,2854 | **17,8489** |
| Qwen3-8B (compressed-tensors) | 11,2949 | 11,2587 |
| Qwen3-14B (ModelOpt) | 9,8343 | 9,8152 |
Decode- und Prefill-Tempo blieben innerhalb der Spreizung der Paarläufe (Gemma-4 tg128
283,59-284,55 vorher, 282,42-284,97 nachher). Ein Skalierungsfaktor von 1,0 reproduziert
das alte Ergebnis bis auf die letzte Stelle, der Schalter
`gemm.nvfp4_static_act_scale` lässt sich also für einen sauberen Vergleich abschalten.
Der statische Skalierungsfaktor hat einen zweiten Vorteil: Er gilt pro Layer, nicht pro
Batch. Der quantisierte Wert einer Zeile hängt nicht davon ab, welche anderen Zeilen
zufällig ihren Schritt teilen, und genau das brauchen imps
[Determinismus](https://github.com/kekzl/imp/blob/main/docs/DETERMINISM.md)-Regeln.
Mit beiden Fixes landet Qwen3-30B-A3B bei 10,9566 / 10,9436 (Chunk 0 / Chunk 32).
## Fix 3: K und V teilen sich einen FP8-Skalierungsfaktor
Der FP8-KV-Cache speichert Keys und Values in E4M3 mit einem Skalierungsfaktor pro
Layer. Die alte Regel, weiterhin der Default und `legacy` genannt, nahm den Absmax des
ersten echten Prefills / 448 mit einer Untergrenze von 1,0. Über Qwen3 0.6B, 1.7B und 8B hinweg sitzen 91 von 92
Layern auf dieser Untergrenze: Keys und Values gehen unskaliert in E4M3.
Bei Qwen3 funktioniert das. Bei Gemma-4 nicht, dessen Keys klein sind: Amax etwa 1,6,
gegen etwa 16 bei den Values. Mit einem Skalierungsfaktor von 1 waren 17,98 % von
Gemma-4s K-Einträgen subnormal oder auf null geflusht.
[#3016](https://github.com/kekzl/imp/pull/3016) führt statische Skalierungsfaktoren ein,
aus dem Checkpoint oder aus einem Kalibrierungs-Prefill beim Start:
`pow2ceil(amax × headroom / 448)`. Zweierpotenzen sind hier wichtig: Die Division durch
eine Zweierpotenz verschiebt nur den Exponenten, ein Wert im Normalbereich rundet also
genau wie mit Skalierungsfaktor 1, und der Kehrwert ist in FP16 exakt.
[#3023](https://github.com/kekzl/imp/pull/3023) gibt K und V dann getrennte
Skalierungsfaktoren, weil ein gemeinsamer `max(K, V)`-Faktor von den Values bestimmt
wird und die Keys weiter nahe am Boden lässt.
Gemma-4-26B-A4B: K-Einträge in FP8 subnormal oder geflusht
[diagram omitted — see the page for the chart]
Track = 20 %. Headroom 2 für beide kalibrierten Arme. Quelle: die Edge-Counts, die calibrate aus einem FP16-Exponenten-Histogramm des Kalibrierungs-Prefills loggt (#3023).
Gemma-4-26B-A4B: Perplexity über dem FP16-KV-Cache
[diagram omitted — see the page for the chart]
Track = 3,5 %. Chat-Turn-Korpus, FP16-KV 17,5635, legacy 17,9006, gemeinsam 18,0870, getrennt 17,6854.
Die beiden Charts erzählen nicht dieselbe Geschichte, und das ist der ehrliche Teil. Der
gemeinsame Skalierungsfaktor hat die meisten subnormalen Keys beseitigt und trotzdem
*schlechter* abgeschnitten als legacy. Weniger Subnormale allein sind nicht das Ziel. Pro
Position sind die Unterschiede klein: mittlere absolute NLL-Änderung gegenüber FP16 von
0,4692 (legacy), 0,4739 (gemeinsam) und 0,4659 (getrennt), und getrennt mit Headroom 1
oder 4 kommt auf 0,4757 und 0,4789. Der Gewinn von getrennt liegt innerhalb der
Spreizung der Headroom-Wahl. Deshalb sind beide neuen Modi per Default aus, und deshalb
behält Qwen3, wo kein Arm gewinnt, `legacy`.
Decode-Tempo ist nicht das Problem: Gemma-4 FP8-KV tg128 299,13 legacy, 299,25 getrennt.
## Woran du erkennst, dass es stimmt
Eine sinkende Perplexity ist kein Beweis. Sie könnte niedriger sein, als das Modell
wirklich ist. Deshalb hat [#3021](https://github.com/kekzl/imp/pull/3021) ein
Parity-Harness hinzugefügt: dieselben Token-IDs, dieselben Zeilen, bewertet von imp und
von vLLM 0.31.0.
| Modell | imp | vLLM (gepoolt über Starts) | Δ | vLLM-Spreizung von Start zu Start |
|---|---:|---:|---:|---:|
| Qwen3-8B NVFP4 | 11,2178 | 11,1951 | +0,203 % | 0,571 % |
| Qwen3-8B FP8 (16-Bit-KV) | 10,7604 | 10,7587 | +0,016 % | 0,000 % |
| Qwen3-30B-A3B NVFP4 (FP8-KV) | 10,9265 | 10,9528 | -0,240 % | 0,328 % |
| Gemma-4-26B-A4B NVFP4 | 17,4793 | 17,7908 | **-1,751 %** | 1,917 % |
Zwei Dinge fallen auf. vLLMs NVFP4-Perplexity bewegt sich zwischen Prozessstarts um 0,33
bis 1,92 %. imp ist bytegenau reproduzierbar: Wiederholte Läufe sind gleich. Und bei
Gemma-4 liegt imp jetzt *niedriger* als vLLM. Diese Lücke ist mit dem Klemmen aus Fix 1
entstanden; davor lag der Unterschied bei +0,059 %. Sie liegt innerhalb von vLLMs eigener
Spreizung von Start zu Start und ist nicht als Defekt erfasst, aber niedriger als die
Referenz ist trotzdem eine Abweichung, und sie ist als solche festgehalten.
## Ehrliche Grenzen
- **Nicht bitgleich über Chunks bei MoE.** Mit dem statischen Skalierungsfaktor fallen
manche MoE-Blöcke weiter unter 2^-9. Gemma-4 wird nach dem Klemmen bei Chunk 32 um
1,5 % schlechter und bei Chunk 0 um 1,8 % besser.
- **Der Checkpoint muss ihn haben.** Fix 2 liest die Kalibrierung dessen, der das Modell
exportiert hat. Jeder lokale ModelOpt-FP8-KV-Export bringt K- und V-Skalierungsfaktoren
von genau 1,0 mit, dort ist der Modus `checkpoint` also gleich `legacy`.
- **Kalibrierung kostet ein Feature.** `calibrate` überspringt das Wiederherstellen des
persistierten Prefix-Cache.
- **Perplexity ist nur eine Metrik.** Die Degenerations-Suite (37 bis 52 Checks pro
Modell) lief auf #3016, #3019 und #3023 mit 0 Fehlern durch, aber nichts davon ist ein
Task-Benchmark.
Keiner der drei Fixes hat ein Gewicht angefasst. Sie haben die Zahl geändert, die neben
sechzehn davon steht.