# Der Kernel, der nullmal lief > Ein Rewrite machte einen imp-Kernel bis zu 33 % schneller, und das Serving startet diesen Kernel nie. Vier Ergebnisse von einem Tag, die keinen Engine-Code geändert haben, und das Ledger, das dem nächsten Audit erspart, doppelt dafür zu zahlen. Source: https://rfriedmann.de/de/blog/the-kernel-that-ran-zero-times/ · English: https://rfriedmann.de/blog/the-kernel-that-ran-zero-times/ Published: 2026-11-06 · Track: log · Level: Expert Am 4. November 2026 kamen auf imps Main-Branch 21 Commits an. Zwölf davon waren Performance-Arbeit, und mehrere stehen im [Post über überlappende Chats](/de/blog/mtp-when-chats-overlap/). Vier der übrigen fassten nichts unter `src/` an. Jeder prüfte eine Idee oder einen Verdacht, fand ihn falsch und committete die Belege. Um diese vier geht es hier. Jede Zahl stammt aus dem Evidence-Verzeichnis oder der Ledger-Zeile des jeweils genannten Pull Requests. Das Modell ist Qwen3.8-27B-NVFP4, sofern ein Abschnitt nichts anderes sagt, auf einer RTX 5090. | PR | was wahr aussah | was die Daten sagten | Zeilen hinzugefügt | |---|---|---|---:| | [#3049](https://github.com/kekzl/imp/pull/3049) | ein Kernel-Rewrite lohnt sich | der Kernel läuft nicht | 795 | | [#3054](https://github.com/kekzl/imp/pull/3054) | nach einer Ablehnung weniger draften | langsamer in fast jedem Regime | 666 | | [#3053](https://github.com/kekzl/imp/pull/3053) | v0.63.0 verlor 1,01 % Prefill | nicht reproduzierbar | 16 | | [#3038](https://github.com/kekzl/imp/pull/3038) | das Serving leckt etwa 585 MiB | kein Speicher dahinter | 415 | ## 1. Ein schnellerer Kernel, den niemand aufruft [#3047](https://github.com/kekzl/imp/pull/3047) machte den Draft-LM-Head schneller, indem er vier Gewichtszeilen pro Block las. Sein FP16-Geschwister, `gemv_nvfp4_kpar_mb_fp16_kernel`, war das naheliegende nächste Ziel: imps eigenes Ledger sagte, er bediene „every speculative verify chunk“. Dasselbe Rezept kam rein, und der Microbench stimmte zu. Die Ausgabe blieb an 24 von 24 Punkten bit-identisch. | Shape N x K | Zeilen | main, µs (2 Läufe) | Rewrite, µs (2 Läufe) | |---|---:|---:|---:| | 17408 x 5120 | 1 | 33,5 / 33,2 | 43,7 / 42,0 | | 17408 x 5120 | 3 | 48,5 / 42,7 | **35,4 / 35,5** | | 17408 x 5120 | 4 | 46,5 / 47,0 | **37,3 / 38,1** | | 5120 x 17408, akkumulierend | 4 | 54,9 / 50,0 | **37,5 / 36,7** | Drei und vier Zeilen wurden 17 bis 33 % schneller, eine Zeile langsamer. Die andere Hälfte der Belege ist ein Profil eines echten Servers, und es beantwortet die Frage, die zuerst kommt: Wie oft läuft dieser Kernel überhaupt? | Server | Last | Launches | Anteil an der Kernel-Zeit | tok/s | |---|---|---:|---:|---:| | Standard | 1 Stream | 0 | 0,00 % | 123,4 | | Standard | 4 Streams | 0 | 0,00 % | 504,5 | | Standard | 32 Streams | 0 | 0,00 % | 1943,2 | | Prompt mit 33612 Tokens | 1 Stream | 0 | 0,00 % | 44,7 | | Kontrolle: `speculative.capture=false` | 1 Stream | 120400 | 67,25 % | 89,5 | | Kontrolle: `speculative.capture=false` | 4 Streams | 10400 | 3,96 % | 262,1 | Die Kontrollzeilen tragen das Argument. Eine Null zählt nur, wenn dasselbe Instrument auch etwas anderes anzeigen kann, und CUDA Graphs sind ein guter Ort, um Launches vor einem Profiler zu verstecken. Mit getraceten Graph-Knoten und abgeschaltetem Capture kommt der Kernel auf 67,25 % der Kernel-Zeit. Das Werkzeug sieht ihn also, und der Standard-Server führt ihn nicht aus. Der Weg durch den Code erklärt das. [#2802](https://github.com/kekzl/imp/pull/2802) schickt jeden gecaptureten Verify-Chunk an den Small-M-Kernel. Der Batched Verify von zwei oder mehr Requests hat mindestens 6 Zeilen, und dieser Kernel hört bei 4 auf. Jenseits von 32768 Tokens liefe ein Chunk ohne Capture, aber MTP hörte bei 16384 auf zu draften. Der Rewrite ging nicht rein. Sein Diff liegt neben dem Microbench, mit einer Notiz, was ihn wieder interessant machen würde: ein Pfad, der Verify ohne Capture mit 4 Zeilen oder weniger ausführt. ## 2. Weniger Drafts nach einem Fehlschlag Der MTP-Head [draftet](/de/blog/speculative-decoding/) zwei Tokens pro Schritt. Nach einer Ablehnung nur eines zu entwerfen, klingt vernünftig: Der Head hat gerade einen schlechten Moment, also spart man sich die Arbeit. imps Single-Chunk-Verify macht das schon. Der Kandidat brachte die Regel in den Batched Verify. Traces gaben den Preis an, noch vor jedem A/B. | Kontext | zweiter Draft nach Fehlschlag akzeptiert | Tiefe 1 spart | Schritt | Schätzung, fest → adaptiv | |---:|---:|---:|---:|---:| | 7696 | 45-52 % | 1,60 ms | 15,76 ms | 159,63 → 156,84 tok/s | | 19773 | 55-57 % | 2,10 ms | 16,89 ms | 150,05 → 146,17 tok/s | | 80043 | 45-73 % | 2,31 ms | 17,60 ms | 146,15 → 142,55 tok/s | Ein Fehlschlag senkt die Chancen tatsächlich, von 75 % nach einem vollen Accept auf 45-73 %, aber nicht genug. Ein zusätzlich akzeptiertes Token ist 6,2 bis 6,8 ms Schritt wert, und Tiefe 1 spart höchstens 2,31 ms. Die Schätzung sagte nein, aber eine Schätzung ist keine Messung, also wurde die Änderung trotzdem gebaut und gefahren. Ein A/B auf einem Prompt sagte dann ja, zumindest bei 8k: Drei Paare gingen von 159,78 auf **167,76** tok/s, 5,0 % schneller. Derselbe Prompt bei 80k ging von 145,75 auf 130,99, 10,1 % langsamer. Der Grund ist eine Falle. Eine Padding-Zeile anstelle eines Drafts ändert den Greedy-Text, über einen Mechanismus, den niemand gebisectet hat. Die beiden Arme erzeugen also nicht mehr dieselben Tokens, und ein A/B auf einem Prompt vergleicht zwei verschiedene Antworten. Vier Prompts pro Kontext haben es entschieden. | Regime | main | adaptiv | |---|---:|---:| | 1 Chat, 8k / 20k / 80k, 4 Prompts x 2 Paare | 166,68 / 147,16 / 145,60 | 165,04 / 143,48 / 139,50 | | 2 überlappende Chats, 20k / 40k / 80k, pro Stream | 138,80 / 130,17 / 124,95 | 131,45 / 125,99 / 121,54 | | 6 kurze Chats, Concurrency 1 | 154,61-155,07 | 148,07-148,38 | Der Kandidat gewann 3 von 12 Zellen aus Prompt und Kontext. Die feste Tiefe 2 bleibt. ## 3. Die Regression mit sauberen Fehlerbalken Der Release-Sweep für v0.63.0 meldete Prefill auf Nemotron-3-Nano-30B-A3B-NVFP4: pp512 1,01 % schlechter. Drei Paare, der neue Build in allen dreien langsamer, und die Bereiche überlappten nicht einmal: 34167 bis 34477 tok/s alt, 33965 bis 34077 neu. Nach den meisten Maßstäben ist das eine Regression, und der nächste Schritt wäre ein Bisect. Der nächste Schritt waren mehr Paare, auf den tatsächlich veröffentlichten Images. | Lauf | Paare | alt, Median tok/s | neu, Median tok/s | neu schneller | |---|---:|---:|---:|---:| | Release-Sweep, Kandidaten-Image | 3 | 34406,70 | 34058,33 | 0/3 | | veröffentlichte Images, nur pp512 | 8 | 34277,40 | 34313,60 | 6/8 | | veröffentlichte Images, `release_ab.sh` | 4 | 34268,26 | 34411,18 | 3/4 | Keine Regression in v0.63.0. Das Delta gehört zum Kandidaten-Image oder zum Zustand des Hosts während dieses Sweeps, und dabei lässt es das Log. Ein Münzwurf verliert drei Paare in Folge in 12,5 % der Fälle, und ein Release-Sweep vergleicht mehr als eine Zahl. ## 4. Der Speicher, den es nicht gab Der eigene VRAM eines Standard-Servers wuchs vom Ende der Initialisierung bis zum Ende einer Welle mit 32 Streams um 4098 MiB. Das meiste davon hatte einen Namen. Etwa 585 MiB nicht, und die zeigten sich nur mit eingeschaltetem MTP-Head, was den Head verdächtig machte.
Wachstum des eigenen VRAM im Serving, MiB (gesamt 4098)
[diagram omitted — see the page for the chart]
20634 MiB nach der Initialisierung, 24732 MiB nach der vierten Welle mit 32 Streams, Track = 2500 MiB. Grau: Hinter dem Sprung in der Anzeige steht keine Allokation, der Rest ist nicht zugeordnet. Aus breakdown.txt in #3038.
Die Suche widerlegte acht Kandidaten. | Kandidat | warum nicht | |---|---| | gecapturete Verify-Graphs pro rekurrentem Slot | `speculative.capture=false` wächst genauso | | FFN-Prefill-Graphs pro Zeilen-Bucket | `runtime.prefill_ffn_graph=false` wächst genauso | | cuBLASLt lädt Kernel nach | insgesamt 4 MiB in einem eigenständigen Probe | | Hochwassermarke des Async-Pools | 11424 MiB beim Start und nach der Welle | | Graph-Memory-Pool | 0,0 MiB Hochwasser seit Beginn des Servings | | Local Memory des Treibers | höchstens 207,2 MiB, flach während der Welle | | MTP-History-Slots, Carry, Batched Verify | alles aus: eigener VRAM trotzdem +2824 MiB | | ein `cudaMalloc` während des Servings | der Interposer zählte 0 | Dann dasselbe Fenster durch ein zweites Instrument: eigener VRAM +2824 MiB, `nvidia-smi` +2240. Ein 50-Zeilen-Probe ohne imp-Prozess auf der Karte brachte die Entscheidung. Er ruft nur `cudaMalloc` in Schritten von 256 MiB auf und vergleicht die beiden Anzeigen. 89 Schritte lang bewegen sie sich gemeinsam. Bei Schritt 90 steigt `nvidia-smi` um die 256 MiB, die alloziert wurden, und `cudaMemGetInfo` um 841. Auf diesem WSL2-Host springt `cudaMemGetInfo`, das in imps eigener Zahl steckt, also um 585 MiB, sobald das Gerät etwa 24,5 GB belegt hat. Ohne MTP-Head liegt `nvidia-smi` in der Spitze bei 23850 MiB, und der Server kommt nie dorthin. Mit Head erreicht er 25566 MiB. Die Schuld des Heads bestand nur darin, eine Linie zu überschreiten. Die Suche hat sich trotzdem gelohnt. Der Workspace von 360 MiB wurde erst nach dem Kapazitätsplan belegt, und [#3040](https://github.com/kekzl/imp/pull/3040) machte ihn zu einer geplanten Zeile. Und ein A/B über diese Linie hinweg enthält jetzt bekannte 585 MiB Nichts. ## Wo die Urteile liegen Der Nemotron-Lauf ging in `PERF_LOG.md`, der Sprung in der Anzeige in `MEMORY.md`. Der Kernel und die Draft-Tiefe gingen in `docs/audit/SETTLED.md`, inzwischen 821 Zeilen, die ein Audit liest, bevor es Hypothesen erzeugt. Die Datei gibt es, weil das Audit vom 29. Juli den Großteil seines Budgets damit verbrachte, sich selbst zu widerlegen: 8 seiner 13 Hypothesen beschrieben Duplikate, die frühere Arbeit längst entfernt hatte. Die Begründung im Ledger: > a suspected problem that turns out to be clean is worth exactly as much as one that > is real, and stops the next pass re-chasing it. Jede Zeile hat einen Anker, die Datei, die den Eintrag belegt, und ein Release-Check schlägt fehl, wenn ein Anker nicht mehr auflöst. Auf main sagen heute 53 von 2928 Commit-Betreffzeilen „refuted“ oder „does not reproduce“. Das Ledger ist kein Oracle, und der Kernel aus Abschnitt 1 zeigt das. Seine Zeile nannte ihn zuerst ein Test-Oracle ohne Aufrufer außerhalb von `tests/`. Eine Korrektur vom 17. Oktober sagte, er bediene jeden Verify-Chunk. #2802 wurde einen Tag später gemerged und machte das für gecapturete Chunks falsch. Dieser Satz blieb im Ledger, bis #3049 die Zeile erneut korrigierte. Ein Anker beweist, dass eine Datei existiert, nie, dass eine Aussage darüber noch stimmt. ## Was eine Widerlegung braucht - **Den Beweis, dass der Pfad lief.** Ein Launch-Zähler, eine Log-Zeile, ein Counter, dazu eine Kontrolle, in der er nicht null anzeigt. Das Ledger sagt es über eine Log-Zeile, die nie gedruckt wurde: „A gate that cannot be shown to fire has not been validated.“ - **Mehr als eine Eingabe,** sobald eine Änderung die Ausgabe verändern kann. Ein Prompt ergab +5,0 % für eine Änderung, die verliert. - **Mehr Paare vor einem Bisect.** Nicht überlappende Bereiche aus 3 Paaren reichten nicht. - **Ein zweites Instrument.** `nvidia-smi` neben `cudaMemGetInfo` beendete eine Suche, die acht Theorien nicht beendet hatten. - **Den Diff und eine Bedingung zum Wiederaufgreifen.** Ein Urteil ohne beides wird noch einmal bezahlt. ## Ehrliche Grenzen - **Ein Urteil hat ein Datum.** #3049 wurde um 14:22 gemerged. [#3050](https://github.com/kekzl/imp/pull/3050) wurde am selben Tag um 16:34 gemerged und änderte zwei seiner Voraussetzungen: MTP draftet jetzt über 16384 Tokens hinaus, und ein einzelner Request prüft im Batched-Schritt mit 3 Zeilen. Dem Code nach bleibt der Kernel aus, weil auch diese Schritte gecaptured sind und den Small-M-Weg nehmen. Das ist eine Lesart. Den Launch-Zähler hat niemand neu laufen lassen. - **Jedes Urteil gilt für ein Modell auf einer Karte.** Adaptive Tiefe verlor auf Qwen3.8-27B-NVFP4 und sagt nichts über andere Akzeptanzraten. - **Drei Ursachen bleiben offen.** Warum eine Padding-Zeile den Greedy-Text ändert, was den Sweep für v0.63.0 bewegt hat und warum die Anzeige des Treibers springt. - **Es kostet.** 1892 hinzugefügte Zeilen Belege und Tools über die vier hinweg, und keine davon hat ein Token schneller gemacht. Die nächste Session, die sich diesen Kernel ansieht, liest zuerst eine Tabellenzeile. Diese Zeile lag schon zweimal falsch, also bekommt sie auch einen Launch-Zähler.