# Der Kernel, der nullmal lief
> Ein Rewrite machte einen imp-Kernel bis zu 33 % schneller, und das Serving startet diesen Kernel nie. Vier Ergebnisse von einem Tag, die keinen Engine-Code geändert haben, und das Ledger, das dem nächsten Audit erspart, doppelt dafür zu zahlen.
Source: https://rfriedmann.de/de/blog/the-kernel-that-ran-zero-times/ · English: https://rfriedmann.de/blog/the-kernel-that-ran-zero-times/
Published: 2026-11-06 · Track: log · Level: Expert
Am 4. November 2026 kamen auf imps Main-Branch 21 Commits an. Zwölf davon waren
Performance-Arbeit, und mehrere stehen im [Post über überlappende Chats](/de/blog/mtp-when-chats-overlap/).
Vier der übrigen fassten nichts unter `src/` an. Jeder prüfte eine Idee oder einen
Verdacht, fand ihn falsch und committete die Belege.
Um diese vier geht es hier. Jede Zahl stammt aus dem Evidence-Verzeichnis oder der
Ledger-Zeile des jeweils genannten Pull Requests. Das Modell ist Qwen3.8-27B-NVFP4,
sofern ein Abschnitt nichts anderes sagt, auf einer RTX 5090.
| PR | was wahr aussah | was die Daten sagten | Zeilen hinzugefügt |
|---|---|---|---:|
| [#3049](https://github.com/kekzl/imp/pull/3049) | ein Kernel-Rewrite lohnt sich | der Kernel läuft nicht | 795 |
| [#3054](https://github.com/kekzl/imp/pull/3054) | nach einer Ablehnung weniger draften | langsamer in fast jedem Regime | 666 |
| [#3053](https://github.com/kekzl/imp/pull/3053) | v0.63.0 verlor 1,01 % Prefill | nicht reproduzierbar | 16 |
| [#3038](https://github.com/kekzl/imp/pull/3038) | das Serving leckt etwa 585 MiB | kein Speicher dahinter | 415 |
## 1. Ein schnellerer Kernel, den niemand aufruft
[#3047](https://github.com/kekzl/imp/pull/3047) machte den Draft-LM-Head schneller,
indem er vier Gewichtszeilen pro Block las. Sein FP16-Geschwister,
`gemv_nvfp4_kpar_mb_fp16_kernel`, war das naheliegende nächste Ziel: imps eigenes
Ledger sagte, er bediene „every speculative verify chunk“. Dasselbe Rezept kam rein,
und der Microbench stimmte zu. Die Ausgabe blieb an 24 von 24 Punkten bit-identisch.
| Shape N x K | Zeilen | main, µs (2 Läufe) | Rewrite, µs (2 Läufe) |
|---|---:|---:|---:|
| 17408 x 5120 | 1 | 33,5 / 33,2 | 43,7 / 42,0 |
| 17408 x 5120 | 3 | 48,5 / 42,7 | **35,4 / 35,5** |
| 17408 x 5120 | 4 | 46,5 / 47,0 | **37,3 / 38,1** |
| 5120 x 17408, akkumulierend | 4 | 54,9 / 50,0 | **37,5 / 36,7** |
Drei und vier Zeilen wurden 17 bis 33 % schneller, eine Zeile langsamer. Die andere
Hälfte der Belege ist ein Profil eines echten Servers, und es beantwortet die Frage,
die zuerst kommt: Wie oft läuft dieser Kernel überhaupt?
| Server | Last | Launches | Anteil an der Kernel-Zeit | tok/s |
|---|---|---:|---:|---:|
| Standard | 1 Stream | 0 | 0,00 % | 123,4 |
| Standard | 4 Streams | 0 | 0,00 % | 504,5 |
| Standard | 32 Streams | 0 | 0,00 % | 1943,2 |
| Prompt mit 33612 Tokens | 1 Stream | 0 | 0,00 % | 44,7 |
| Kontrolle: `speculative.capture=false` | 1 Stream | 120400 | 67,25 % | 89,5 |
| Kontrolle: `speculative.capture=false` | 4 Streams | 10400 | 3,96 % | 262,1 |
Die Kontrollzeilen tragen das Argument. Eine Null zählt nur, wenn dasselbe Instrument
auch etwas anderes anzeigen kann, und CUDA Graphs sind ein guter Ort, um Launches vor
einem Profiler zu verstecken. Mit getraceten Graph-Knoten und abgeschaltetem Capture
kommt der Kernel auf 67,25 % der Kernel-Zeit. Das Werkzeug sieht ihn also, und der
Standard-Server führt ihn nicht aus.
Der Weg durch den Code erklärt das. [#2802](https://github.com/kekzl/imp/pull/2802)
schickt jeden gecaptureten Verify-Chunk an den Small-M-Kernel. Der Batched Verify von
zwei oder mehr Requests hat mindestens 6 Zeilen, und dieser Kernel hört bei 4 auf.
Jenseits von 32768 Tokens liefe ein Chunk ohne Capture, aber MTP hörte bei 16384 auf
zu draften.
Der Rewrite ging nicht rein. Sein Diff liegt neben dem Microbench, mit einer Notiz,
was ihn wieder interessant machen würde: ein Pfad, der Verify ohne Capture mit 4
Zeilen oder weniger ausführt.
## 2. Weniger Drafts nach einem Fehlschlag
Der MTP-Head [draftet](/de/blog/speculative-decoding/) zwei Tokens pro Schritt. Nach
einer Ablehnung nur eines zu entwerfen, klingt vernünftig: Der Head hat gerade einen
schlechten Moment, also spart man sich die Arbeit. imps Single-Chunk-Verify macht das
schon. Der Kandidat brachte die Regel in den Batched Verify.
Traces gaben den Preis an, noch vor jedem A/B.
| Kontext | zweiter Draft nach Fehlschlag akzeptiert | Tiefe 1 spart | Schritt | Schätzung, fest → adaptiv |
|---:|---:|---:|---:|---:|
| 7696 | 45-52 % | 1,60 ms | 15,76 ms | 159,63 → 156,84 tok/s |
| 19773 | 55-57 % | 2,10 ms | 16,89 ms | 150,05 → 146,17 tok/s |
| 80043 | 45-73 % | 2,31 ms | 17,60 ms | 146,15 → 142,55 tok/s |
Ein Fehlschlag senkt die Chancen tatsächlich, von 75 % nach einem vollen Accept auf
45-73 %, aber nicht genug. Ein zusätzlich akzeptiertes Token ist 6,2 bis 6,8 ms
Schritt wert, und Tiefe 1 spart höchstens 2,31 ms. Die Schätzung sagte nein, aber eine
Schätzung ist keine Messung, also wurde die Änderung trotzdem gebaut und gefahren.
Ein A/B auf einem Prompt sagte dann ja, zumindest bei 8k: Drei Paare gingen von 159,78
auf **167,76** tok/s, 5,0 % schneller. Derselbe Prompt bei 80k ging von 145,75 auf
130,99, 10,1 % langsamer.
Der Grund ist eine Falle. Eine Padding-Zeile anstelle eines Drafts ändert den Greedy-Text,
über einen Mechanismus, den niemand gebisectet hat. Die beiden Arme erzeugen also nicht
mehr dieselben Tokens, und ein A/B auf einem Prompt vergleicht zwei verschiedene
Antworten. Vier Prompts pro Kontext haben es entschieden.
| Regime | main | adaptiv |
|---|---:|---:|
| 1 Chat, 8k / 20k / 80k, 4 Prompts x 2 Paare | 166,68 / 147,16 / 145,60 | 165,04 / 143,48 / 139,50 |
| 2 überlappende Chats, 20k / 40k / 80k, pro Stream | 138,80 / 130,17 / 124,95 | 131,45 / 125,99 / 121,54 |
| 6 kurze Chats, Concurrency 1 | 154,61-155,07 | 148,07-148,38 |
Der Kandidat gewann 3 von 12 Zellen aus Prompt und Kontext. Die feste Tiefe 2 bleibt.
## 3. Die Regression mit sauberen Fehlerbalken
Der Release-Sweep für v0.63.0 meldete Prefill auf Nemotron-3-Nano-30B-A3B-NVFP4: pp512
1,01 % schlechter. Drei Paare, der neue Build in allen dreien langsamer, und die
Bereiche überlappten nicht einmal: 34167 bis 34477 tok/s alt, 33965 bis 34077 neu. Nach
den meisten Maßstäben ist das eine Regression, und der nächste Schritt wäre ein Bisect.
Der nächste Schritt waren mehr Paare, auf den tatsächlich veröffentlichten Images.
| Lauf | Paare | alt, Median tok/s | neu, Median tok/s | neu schneller |
|---|---:|---:|---:|---:|
| Release-Sweep, Kandidaten-Image | 3 | 34406,70 | 34058,33 | 0/3 |
| veröffentlichte Images, nur pp512 | 8 | 34277,40 | 34313,60 | 6/8 |
| veröffentlichte Images, `release_ab.sh` | 4 | 34268,26 | 34411,18 | 3/4 |
Keine Regression in v0.63.0. Das Delta gehört zum Kandidaten-Image oder zum Zustand des
Hosts während dieses Sweeps, und dabei lässt es das Log. Ein Münzwurf verliert drei
Paare in Folge in 12,5 % der Fälle, und ein Release-Sweep vergleicht mehr als eine Zahl.
## 4. Der Speicher, den es nicht gab
Der eigene VRAM eines Standard-Servers wuchs vom Ende der Initialisierung bis zum Ende
einer Welle mit 32 Streams um 4098 MiB. Das meiste davon hatte einen Namen. Etwa 585 MiB
nicht, und die zeigten sich nur mit eingeschaltetem MTP-Head, was den Head verdächtig
machte.
Wachstum des eigenen VRAM im Serving, MiB (gesamt 4098)
[diagram omitted — see the page for the chart]
20634 MiB nach der Initialisierung, 24732 MiB nach der vierten Welle mit 32 Streams, Track = 2500 MiB. Grau: Hinter dem Sprung in der Anzeige steht keine Allokation, der Rest ist nicht zugeordnet. Aus breakdown.txt in #3038.
Die Suche widerlegte acht Kandidaten.
| Kandidat | warum nicht |
|---|---|
| gecapturete Verify-Graphs pro rekurrentem Slot | `speculative.capture=false` wächst genauso |
| FFN-Prefill-Graphs pro Zeilen-Bucket | `runtime.prefill_ffn_graph=false` wächst genauso |
| cuBLASLt lädt Kernel nach | insgesamt 4 MiB in einem eigenständigen Probe |
| Hochwassermarke des Async-Pools | 11424 MiB beim Start und nach der Welle |
| Graph-Memory-Pool | 0,0 MiB Hochwasser seit Beginn des Servings |
| Local Memory des Treibers | höchstens 207,2 MiB, flach während der Welle |
| MTP-History-Slots, Carry, Batched Verify | alles aus: eigener VRAM trotzdem +2824 MiB |
| ein `cudaMalloc` während des Servings | der Interposer zählte 0 |
Dann dasselbe Fenster durch ein zweites Instrument: eigener VRAM +2824 MiB, `nvidia-smi`
+2240. Ein 50-Zeilen-Probe ohne imp-Prozess auf der Karte brachte die Entscheidung. Er
ruft nur `cudaMalloc` in Schritten von 256 MiB auf und vergleicht die beiden Anzeigen.
89 Schritte lang bewegen sie sich gemeinsam. Bei Schritt 90 steigt `nvidia-smi` um die
256 MiB, die alloziert wurden, und `cudaMemGetInfo` um 841.
Auf diesem WSL2-Host springt `cudaMemGetInfo`, das in imps eigener Zahl steckt, also um
585 MiB, sobald das Gerät etwa 24,5 GB belegt hat. Ohne MTP-Head liegt `nvidia-smi` in
der Spitze bei 23850 MiB, und der Server kommt nie dorthin. Mit Head erreicht er
25566 MiB. Die Schuld des Heads bestand nur darin, eine Linie zu überschreiten.
Die Suche hat sich trotzdem gelohnt. Der Workspace von 360 MiB wurde erst nach dem
Kapazitätsplan belegt, und [#3040](https://github.com/kekzl/imp/pull/3040) machte ihn
zu einer geplanten Zeile. Und ein A/B über diese Linie hinweg enthält jetzt bekannte
585 MiB Nichts.
## Wo die Urteile liegen
Der Nemotron-Lauf ging in `PERF_LOG.md`, der Sprung in der Anzeige in `MEMORY.md`. Der
Kernel und die Draft-Tiefe gingen in `docs/audit/SETTLED.md`, inzwischen 821 Zeilen,
die ein Audit liest, bevor es Hypothesen erzeugt. Die Datei gibt es, weil das Audit
vom 29. Juli den Großteil seines Budgets damit verbrachte, sich selbst zu widerlegen: 8
seiner 13 Hypothesen beschrieben Duplikate, die frühere Arbeit längst entfernt hatte.
Die Begründung im Ledger:
> a suspected problem that turns out to be clean is worth exactly as much as one that
> is real, and stops the next pass re-chasing it.
Jede Zeile hat einen Anker, die Datei, die den Eintrag belegt, und ein Release-Check
schlägt fehl, wenn ein Anker nicht mehr auflöst. Auf main sagen heute 53 von 2928
Commit-Betreffzeilen „refuted“ oder „does not reproduce“.
Das Ledger ist kein Oracle, und der Kernel aus Abschnitt 1 zeigt das. Seine Zeile nannte
ihn zuerst ein Test-Oracle ohne Aufrufer außerhalb von `tests/`. Eine Korrektur
vom 17. Oktober sagte, er bediene jeden Verify-Chunk. #2802 wurde einen Tag später gemerged
und machte das für gecapturete Chunks falsch. Dieser Satz blieb im Ledger, bis #3049 die
Zeile erneut korrigierte. Ein Anker beweist, dass eine Datei existiert, nie, dass eine
Aussage darüber noch stimmt.
## Was eine Widerlegung braucht
- **Den Beweis, dass der Pfad lief.** Ein Launch-Zähler, eine Log-Zeile, ein Counter,
dazu eine Kontrolle, in der er nicht null anzeigt. Das Ledger sagt es über eine
Log-Zeile, die nie gedruckt wurde: „A gate that cannot be shown to fire has not been
validated.“
- **Mehr als eine Eingabe,** sobald eine Änderung die Ausgabe verändern kann. Ein Prompt
ergab +5,0 % für eine Änderung, die verliert.
- **Mehr Paare vor einem Bisect.** Nicht überlappende Bereiche aus 3 Paaren reichten
nicht.
- **Ein zweites Instrument.** `nvidia-smi` neben `cudaMemGetInfo` beendete eine Suche,
die acht Theorien nicht beendet hatten.
- **Den Diff und eine Bedingung zum Wiederaufgreifen.** Ein Urteil ohne beides wird noch
einmal bezahlt.
## Ehrliche Grenzen
- **Ein Urteil hat ein Datum.** #3049 wurde um 14:22 gemerged. [#3050](https://github.com/kekzl/imp/pull/3050)
wurde am selben Tag um 16:34 gemerged und änderte zwei seiner Voraussetzungen: MTP
draftet jetzt über 16384 Tokens hinaus, und ein einzelner Request prüft im Batched-Schritt
mit 3 Zeilen. Dem Code nach bleibt der Kernel aus, weil auch diese Schritte gecaptured
sind und den Small-M-Weg nehmen. Das ist eine Lesart. Den Launch-Zähler hat niemand neu
laufen lassen.
- **Jedes Urteil gilt für ein Modell auf einer Karte.** Adaptive Tiefe verlor auf
Qwen3.8-27B-NVFP4 und sagt nichts über andere Akzeptanzraten.
- **Drei Ursachen bleiben offen.** Warum eine Padding-Zeile den Greedy-Text ändert, was
den Sweep für v0.63.0 bewegt hat und warum die Anzeige des Treibers springt.
- **Es kostet.** 1892 hinzugefügte Zeilen Belege und Tools über die vier hinweg, und keine
davon hat ein Token schneller gemacht.
Die nächste Session, die sich diesen Kernel ansieht, liest zuerst eine Tabellenzeile.
Diese Zeile lag schon zweimal falsch, also bekommt sie auch einen Launch-Zähler.