Eine 4-Bit-Zahl kann für sich allein nur 0, ±0.5, ±1, ±1.5, ±2, ±3, ±4, ±6 sein.
Alles andere, was ein quantisiertes Modell damit macht, kommt vom Skalierungsfaktor,
mit dem sie multipliziert wird. NVFP4 stapelt
zwei: einen Mikro-Skalierungsfaktor in FP8 E4M3 pro 16 Werte und einen
FP32-Skalierungsfaktor pro Tensor.
Gewichte werden einmal quantisiert, von dem, der den Checkpoint gebaut hat. Aktivierungen und der KV-Cache werden von der Engine quantisiert, zur Laufzeit, für jedes Token. Genau da kann eine Engine etwas falsch machen, ohne dass sich ein einziges Gewichtsbit ändert. Zwischen dem 2. und 3. November 2026 hat imp drei solche Fälle behoben. Dieser Post geht sie durch, und auch, wie imp sich jetzt selbst gegen vLLM prüft.
Die Ränder des Formats#
Alle drei Bugs sitzen am unteren Ende von E4M3, dem 8-Bit-Float, in dem die Skalierungsfaktoren gespeichert sind.
| E4M3 | Wert |
|---|---|
| größter | 448 |
| kleinster normaler | 2^-6 = 0,015625 |
| kleinster subnormaler | 2^-9 ≈ 0,00195 |
| subnormale Schrittweite | 2^-9, also bestenfalls 3 Bit Genauigkeit, nahe dem Boden weniger |
Unter 2^-6 verliert ein Wert Genauigkeit. Unter 2^-9 ist er weg. Ein NVFP4-Mikro-Skalierungsfaktor ist die größte Magnitude des Blocks, geteilt durch 6, geteilt durch den Tensor-Skalierungsfaktor. Ein Block aus 16 Werten, dessen größter Eintrag unter 6 × 2^-6 = 0,09375 liegt, bekommt also einen subnormalen Skalierungsfaktor, und ein Block unter 6 × 2^-9 hat nichts mehr, womit er sich darstellen ließe.
Fix 1: ein Block, der zu null wurde#
#3019. imp hat mehrere NVFP4-Quantisierer für Aktivierungen: einen für Prompt-Tiles, einen in die MoE-Kernel fusionierten, einen für kleine Batches, einen im Decode-Epilog. Bei einem Block-Skalierungsfaktor unter 2^-9 klemmten ihn manche auf 2^-9. Andere schrieben Byte 0, und ein Skalierungsfaktor von 0 liest den ganzen Block als null.
Zur Illustration mit einem Tensor-Skalierungsfaktor von 1: Ein Block, dessen größter Eintrag 0,003 ist, braucht einen Mikro-Skalierungsfaktor von 0,003 / 6 = 0,0005, und das liegt unter 2^-9 ≈ 0,00195.
| Eintrag | Byte 0 | geklemmt auf 2^-9 |
|---|---|---|
| 0,003 | 0 | 1,5 × 2^-9 ≈ 0,00293 |
| 0,001 | 0 | 0,5 × 2^-9 ≈ 0,00098 |
| 0,0002 | 0 | 0 |
Der geklemmte Block ist grob, behält aber seine Form. Der genullte ist weg.
Das Symptom war seltsam: Die Perplexity hing von der Prefill-Chunk-Größe ab. Wie viele Zeilen zusammen verarbeitet werden, entscheidet, durch welchen Quantisierer eine Zeile läuft, also bekam derselbe Text durch dieselben Gewichte unterschiedliche Werte.
| Qwen3-30B-A3B, deterministische PPL | Chunk 0 | Chunk 32 | Spreizung |
|---|---|---|---|
| vorher | 11,3565 | 11,0110 | 0,3455 |
| jeder Quantisierer klemmt auf 2^-9 | 11,0160 | 11,0190 | 0,0030 |
Bytes im Normalbereich haben sich nicht geändert: gleicher Ausdruck, gleiches Ergebnis. Der neue Unit-Test füttert Aktivierungen, die klein genug sind, um den Boden zu treffen. Auf dem alten Code kamen 9216 von 9216 Skalierungsfaktor-Bytes falsch heraus.
Der Fix hat auch imps eigene Referenzzahl verschoben. Die festgeschriebene Perplexity von Qwen3-8B, gegen die jeder Pull Request geprüft wird, ging von 11,2587 auf 11,2352, mit Absicht, im selben Commit. Die 11,2587 selbst stammten aus Fix 2, der zuerst gemergt wurde.
Fix 2: der Skalierungsfaktor, den der Checkpoint schon hatte#
#3015. imp hat Aktivierungen mit einem Tensor-Skalierungsfaktor von 1,0 quantisiert, jeder Mikro-Skalierungsfaktor war also einfach Block-Amax / 6. Bei Gemma-4 sind die Eingaben der Down-Projection klein. 27,3 % der Shared-MLP-Blöcke und 28,0 % der Expert-Blöcke hatten einen Amax unter 0,09375, ihre Skalierungsfaktoren waren also subnormal, und im schlimmsten Layer waren es 96,6 %.
Die Checkpoints bringen die Lösung mit. Wenn ModelOpt oder compressed-tensors ein Modell quantisieren, schicken sie Kalibrierungstext hindurch und speichern für jeden Linear-Layer einen statischen Eingangs-Skalierungsfaktor: den beobachteten Amax geteilt durch 6 × 448 = 2688, sodass die größte erwartete Aktivierung auf den größten Wert fällt, den NVFP4 halten kann. imp hat nichts davon gelesen: 11725 Linear-Layer bei Gemma-4, beim Laden ignoriert. Jetzt teilt jeder Quantisierer durch diesen Skalierungsfaktor, und jede GEMM multipliziert ihn zurück in ihre Ausgabe.
| Modell | PPL vorher | PPL nachher |
|---|---|---|
| Qwen3-30B-A3B (ModelOpt) | 11,3565 | 10,9678 |
| Gemma-4-26B-A4B, Chat-Turn-Korpus | 18,2854 | 17,8489 |
| Qwen3-8B (compressed-tensors) | 11,2949 | 11,2587 |
| Qwen3-14B (ModelOpt) | 9,8343 | 9,8152 |
Decode- und Prefill-Tempo blieben innerhalb der Spreizung der Paarläufe (Gemma-4 tg128
283,59-284,55 vorher, 282,42-284,97 nachher). Ein Skalierungsfaktor von 1,0 reproduziert
das alte Ergebnis bis auf die letzte Stelle, der Schalter
gemm.nvfp4_static_act_scale lässt sich also für einen sauberen Vergleich abschalten.
Der statische Skalierungsfaktor hat einen zweiten Vorteil: Er gilt pro Layer, nicht pro Batch. Der quantisierte Wert einer Zeile hängt nicht davon ab, welche anderen Zeilen zufällig ihren Schritt teilen, und genau das brauchen imps Determinismus-Regeln.
Mit beiden Fixes landet Qwen3-30B-A3B bei 10,9566 / 10,9436 (Chunk 0 / Chunk 32).
Fix 3: K und V teilen sich einen FP8-Skalierungsfaktor#
Der FP8-KV-Cache speichert Keys und Values in E4M3 mit einem Skalierungsfaktor pro
Layer. Die alte Regel, weiterhin der Default und legacy genannt, nahm den Absmax des
ersten echten Prefills / 448 mit einer Untergrenze von 1,0. Über Qwen3 0.6B, 1.7B und 8B hinweg sitzen 91 von 92
Layern auf dieser Untergrenze: Keys und Values gehen unskaliert in E4M3.
Bei Qwen3 funktioniert das. Bei Gemma-4 nicht, dessen Keys klein sind: Amax etwa 1,6, gegen etwa 16 bei den Values. Mit einem Skalierungsfaktor von 1 waren 17,98 % von Gemma-4s K-Einträgen subnormal oder auf null geflusht.
#3016 führt statische Skalierungsfaktoren ein,
aus dem Checkpoint oder aus einem Kalibrierungs-Prefill beim Start:
pow2ceil(amax × headroom / 448). Zweierpotenzen sind hier wichtig: Die Division durch
eine Zweierpotenz verschiebt nur den Exponenten, ein Wert im Normalbereich rundet also
genau wie mit Skalierungsfaktor 1, und der Kehrwert ist in FP16 exakt.
#3023 gibt K und V dann getrennte
Skalierungsfaktoren, weil ein gemeinsamer max(K, V)-Faktor von den Values bestimmt
wird und die Keys weiter nahe am Boden lässt.
calibrate aus einem FP16-Exponenten-Histogramm des Kalibrierungs-Prefills loggt (#3023).Die beiden Charts erzählen nicht dieselbe Geschichte, und das ist der ehrliche Teil. Der
gemeinsame Skalierungsfaktor hat die meisten subnormalen Keys beseitigt und trotzdem
schlechter abgeschnitten als legacy. Weniger Subnormale allein sind nicht das Ziel. Pro
Position sind die Unterschiede klein: mittlere absolute NLL-Änderung gegenüber FP16 von
0,4692 (legacy), 0,4739 (gemeinsam) und 0,4659 (getrennt), und getrennt mit Headroom 1
oder 4 kommt auf 0,4757 und 0,4789. Der Gewinn von getrennt liegt innerhalb der
Spreizung der Headroom-Wahl. Deshalb sind beide neuen Modi per Default aus, und deshalb
behält Qwen3, wo kein Arm gewinnt, legacy.
Decode-Tempo ist nicht das Problem: Gemma-4 FP8-KV tg128 299,13 legacy, 299,25 getrennt.
Woran du erkennst, dass es stimmt#
Eine sinkende Perplexity ist kein Beweis. Sie könnte niedriger sein, als das Modell wirklich ist. Deshalb hat #3021 ein Parity-Harness hinzugefügt: dieselben Token-IDs, dieselben Zeilen, bewertet von imp und von vLLM 0.31.0.
| Modell | imp | vLLM (gepoolt über Starts) | Δ | vLLM-Spreizung von Start zu Start |
|---|---|---|---|---|
| Qwen3-8B NVFP4 | 11,2178 | 11,1951 | +0,203 % | 0,571 % |
| Qwen3-8B FP8 (16-Bit-KV) | 10,7604 | 10,7587 | +0,016 % | 0,000 % |
| Qwen3-30B-A3B NVFP4 (FP8-KV) | 10,9265 | 10,9528 | -0,240 % | 0,328 % |
| Gemma-4-26B-A4B NVFP4 | 17,4793 | 17,7908 | -1,751 % | 1,917 % |
Zwei Dinge fallen auf. vLLMs NVFP4-Perplexity bewegt sich zwischen Prozessstarts um 0,33 bis 1,92 %. imp ist bytegenau reproduzierbar: Wiederholte Läufe sind gleich. Und bei Gemma-4 liegt imp jetzt niedriger als vLLM. Diese Lücke ist mit dem Klemmen aus Fix 1 entstanden; davor lag der Unterschied bei +0,059 %. Sie liegt innerhalb von vLLMs eigener Spreizung von Start zu Start und ist nicht als Defekt erfasst, aber niedriger als die Referenz ist trotzdem eine Abweichung, und sie ist als solche festgehalten.
Ehrliche Grenzen#
- Nicht bitgleich über Chunks bei MoE. Mit dem statischen Skalierungsfaktor fallen manche MoE-Blöcke weiter unter 2^-9. Gemma-4 wird nach dem Klemmen bei Chunk 32 um 1,5 % schlechter und bei Chunk 0 um 1,8 % besser.
- Der Checkpoint muss ihn haben. Fix 2 liest die Kalibrierung dessen, der das Modell
exportiert hat. Jeder lokale ModelOpt-FP8-KV-Export bringt K- und V-Skalierungsfaktoren
von genau 1,0 mit, dort ist der Modus
checkpointalso gleichlegacy. - Kalibrierung kostet ein Feature.
calibrateüberspringt das Wiederherstellen des persistierten Prefix-Cache. - Perplexity ist nur eine Metrik. Die Degenerations-Suite (37 bis 52 Checks pro Modell) lief auf #3016, #3019 und #3023 mit 0 Fehlern durch, aber nichts davon ist ein Task-Benchmark.
Keiner der drei Fixes hat ein Gewicht angefasst. Sie haben die Zahl geändert, die neben sechzehn davon steht.