Raphael Friedmann
← Das Log

Der Kernel, der nullmal lief

Ein Rewrite machte einen imp-Kernel bis zu 33 % schneller, und das Serving startet diesen Kernel nie. Vier Ergebnisse von einem Tag, die keinen Engine-Code geändert haben, und das Ledger, das dem nächsten Audit erspart, doppelt dafür zu zahlen.

Am 4. November 2026 kamen auf imps Main-Branch 21 Commits an. Zwölf davon waren Performance-Arbeit, und mehrere stehen im Post über überlappende Chats. Vier der übrigen fassten nichts unter src/ an. Jeder prüfte eine Idee oder einen Verdacht, fand ihn falsch und committete die Belege.

Um diese vier geht es hier. Jede Zahl stammt aus dem Evidence-Verzeichnis oder der Ledger-Zeile des jeweils genannten Pull Requests. Das Modell ist Qwen3.8-27B-NVFP4, sofern ein Abschnitt nichts anderes sagt, auf einer RTX 5090.

PR was wahr aussah was die Daten sagten Zeilen hinzugefügt
#3049 ein Kernel-Rewrite lohnt sich der Kernel läuft nicht 795
#3054 nach einer Ablehnung weniger draften langsamer in fast jedem Regime 666
#3053 v0.63.0 verlor 1,01 % Prefill nicht reproduzierbar 16
#3038 das Serving leckt etwa 585 MiB kein Speicher dahinter 415

1. Ein schnellerer Kernel, den niemand aufruft#

#3047 machte den Draft-LM-Head schneller, indem er vier Gewichtszeilen pro Block las. Sein FP16-Geschwister, gemv_nvfp4_kpar_mb_fp16_kernel, war das naheliegende nächste Ziel: imps eigenes Ledger sagte, er bediene „every speculative verify chunk“. Dasselbe Rezept kam rein, und der Microbench stimmte zu. Die Ausgabe blieb an 24 von 24 Punkten bit-identisch.

Shape N x K Zeilen main, µs (2 Läufe) Rewrite, µs (2 Läufe)
17408 x 5120 1 33,5 / 33,2 43,7 / 42,0
17408 x 5120 3 48,5 / 42,7 35,4 / 35,5
17408 x 5120 4 46,5 / 47,0 37,3 / 38,1
5120 x 17408, akkumulierend 4 54,9 / 50,0 37,5 / 36,7

Drei und vier Zeilen wurden 17 bis 33 % schneller, eine Zeile langsamer. Die andere Hälfte der Belege ist ein Profil eines echten Servers, und es beantwortet die Frage, die zuerst kommt: Wie oft läuft dieser Kernel überhaupt?

Server Last Launches Anteil an der Kernel-Zeit tok/s
Standard 1 Stream 0 0,00 % 123,4
Standard 4 Streams 0 0,00 % 504,5
Standard 32 Streams 0 0,00 % 1943,2
Prompt mit 33612 Tokens 1 Stream 0 0,00 % 44,7
Kontrolle: speculative.capture=false 1 Stream 120400 67,25 % 89,5
Kontrolle: speculative.capture=false 4 Streams 10400 3,96 % 262,1

Die Kontrollzeilen tragen das Argument. Eine Null zählt nur, wenn dasselbe Instrument auch etwas anderes anzeigen kann, und CUDA Graphs sind ein guter Ort, um Launches vor einem Profiler zu verstecken. Mit getraceten Graph-Knoten und abgeschaltetem Capture kommt der Kernel auf 67,25 % der Kernel-Zeit. Das Werkzeug sieht ihn also, und der Standard-Server führt ihn nicht aus.

Der Weg durch den Code erklärt das. #2802 schickt jeden gecaptureten Verify-Chunk an den Small-M-Kernel. Der Batched Verify von zwei oder mehr Requests hat mindestens 6 Zeilen, und dieser Kernel hört bei 4 auf. Jenseits von 32768 Tokens liefe ein Chunk ohne Capture, aber MTP hörte bei 16384 auf zu draften.

Der Rewrite ging nicht rein. Sein Diff liegt neben dem Microbench, mit einer Notiz, was ihn wieder interessant machen würde: ein Pfad, der Verify ohne Capture mit 4 Zeilen oder weniger ausführt.

2. Weniger Drafts nach einem Fehlschlag#

Der MTP-Head draftet zwei Tokens pro Schritt. Nach einer Ablehnung nur eines zu entwerfen, klingt vernünftig: Der Head hat gerade einen schlechten Moment, also spart man sich die Arbeit. imps Single-Chunk-Verify macht das schon. Der Kandidat brachte die Regel in den Batched Verify.

Traces gaben den Preis an, noch vor jedem A/B.

Kontext zweiter Draft nach Fehlschlag akzeptiert Tiefe 1 spart Schritt Schätzung, fest → adaptiv
7696 45-52 % 1,60 ms 15,76 ms 159,63 → 156,84 tok/s
19773 55-57 % 2,10 ms 16,89 ms 150,05 → 146,17 tok/s
80043 45-73 % 2,31 ms 17,60 ms 146,15 → 142,55 tok/s

Ein Fehlschlag senkt die Chancen tatsächlich, von 75 % nach einem vollen Accept auf 45-73 %, aber nicht genug. Ein zusätzlich akzeptiertes Token ist 6,2 bis 6,8 ms Schritt wert, und Tiefe 1 spart höchstens 2,31 ms. Die Schätzung sagte nein, aber eine Schätzung ist keine Messung, also wurde die Änderung trotzdem gebaut und gefahren.

Ein A/B auf einem Prompt sagte dann ja, zumindest bei 8k: Drei Paare gingen von 159,78 auf 167,76 tok/s, 5,0 % schneller. Derselbe Prompt bei 80k ging von 145,75 auf 130,99, 10,1 % langsamer.

Der Grund ist eine Falle. Eine Padding-Zeile anstelle eines Drafts ändert den Greedy-Text, über einen Mechanismus, den niemand gebisectet hat. Die beiden Arme erzeugen also nicht mehr dieselben Tokens, und ein A/B auf einem Prompt vergleicht zwei verschiedene Antworten. Vier Prompts pro Kontext haben es entschieden.

Regime main adaptiv
1 Chat, 8k / 20k / 80k, 4 Prompts x 2 Paare 166,68 / 147,16 / 145,60 165,04 / 143,48 / 139,50
2 überlappende Chats, 20k / 40k / 80k, pro Stream 138,80 / 130,17 / 124,95 131,45 / 125,99 / 121,54
6 kurze Chats, Concurrency 1 154,61-155,07 148,07-148,38

Der Kandidat gewann 3 von 12 Zellen aus Prompt und Kontext. Die feste Tiefe 2 bleibt.

3. Die Regression mit sauberen Fehlerbalken#

Der Release-Sweep für v0.63.0 meldete Prefill auf Nemotron-3-Nano-30B-A3B-NVFP4: pp512 1,01 % schlechter. Drei Paare, der neue Build in allen dreien langsamer, und die Bereiche überlappten nicht einmal: 34167 bis 34477 tok/s alt, 33965 bis 34077 neu. Nach den meisten Maßstäben ist das eine Regression, und der nächste Schritt wäre ein Bisect.

Der nächste Schritt waren mehr Paare, auf den tatsächlich veröffentlichten Images.

Lauf Paare alt, Median tok/s neu, Median tok/s neu schneller
Release-Sweep, Kandidaten-Image 3 34406,70 34058,33 0/3
veröffentlichte Images, nur pp512 8 34277,40 34313,60 6/8
veröffentlichte Images, release_ab.sh 4 34268,26 34411,18 3/4

Keine Regression in v0.63.0. Das Delta gehört zum Kandidaten-Image oder zum Zustand des Hosts während dieses Sweeps, und dabei lässt es das Log. Ein Münzwurf verliert drei Paare in Folge in 12,5 % der Fälle, und ein Release-Sweep vergleicht mehr als eine Zahl.

4. Der Speicher, den es nicht gab#

Der eigene VRAM eines Standard-Servers wuchs vom Ende der Initialisierung bis zum Ende einer Welle mit 32 Streams um 4098 MiB. Das meiste davon hatte einen Namen. Etwa 585 MiB nicht, und die zeigten sich nur mit eingeschaltetem MTP-Head, was den Head verdächtig machte.

Wachstum des eigenen VRAM im Serving, MiB (gesamt 4098)
31 rekurrente Slots2480Batched-Verify-Spares320KV-Grow-Ahead312MTP-Workspace360Sprung in der Anzeige585Rest41
20634 MiB nach der Initialisierung, 24732 MiB nach der vierten Welle mit 32 Streams, Track = 2500 MiB. Grau: Hinter dem Sprung in der Anzeige steht keine Allokation, der Rest ist nicht zugeordnet. Aus breakdown.txt in #3038.

Die Suche widerlegte acht Kandidaten.

Kandidat warum nicht
gecapturete Verify-Graphs pro rekurrentem Slot speculative.capture=false wächst genauso
FFN-Prefill-Graphs pro Zeilen-Bucket runtime.prefill_ffn_graph=false wächst genauso
cuBLASLt lädt Kernel nach insgesamt 4 MiB in einem eigenständigen Probe
Hochwassermarke des Async-Pools 11424 MiB beim Start und nach der Welle
Graph-Memory-Pool 0,0 MiB Hochwasser seit Beginn des Servings
Local Memory des Treibers höchstens 207,2 MiB, flach während der Welle
MTP-History-Slots, Carry, Batched Verify alles aus: eigener VRAM trotzdem +2824 MiB
ein cudaMalloc während des Servings der Interposer zählte 0

Dann dasselbe Fenster durch ein zweites Instrument: eigener VRAM +2824 MiB, nvidia-smi +2240. Ein 50-Zeilen-Probe ohne imp-Prozess auf der Karte brachte die Entscheidung. Er ruft nur cudaMalloc in Schritten von 256 MiB auf und vergleicht die beiden Anzeigen. 89 Schritte lang bewegen sie sich gemeinsam. Bei Schritt 90 steigt nvidia-smi um die 256 MiB, die alloziert wurden, und cudaMemGetInfo um 841.

Auf diesem WSL2-Host springt cudaMemGetInfo, das in imps eigener Zahl steckt, also um 585 MiB, sobald das Gerät etwa 24,5 GB belegt hat. Ohne MTP-Head liegt nvidia-smi in der Spitze bei 23850 MiB, und der Server kommt nie dorthin. Mit Head erreicht er 25566 MiB. Die Schuld des Heads bestand nur darin, eine Linie zu überschreiten.

Die Suche hat sich trotzdem gelohnt. Der Workspace von 360 MiB wurde erst nach dem Kapazitätsplan belegt, und #3040 machte ihn zu einer geplanten Zeile. Und ein A/B über diese Linie hinweg enthält jetzt bekannte 585 MiB Nichts.

Wo die Urteile liegen#

Der Nemotron-Lauf ging in PERF_LOG.md, der Sprung in der Anzeige in MEMORY.md. Der Kernel und die Draft-Tiefe gingen in docs/audit/SETTLED.md, inzwischen 821 Zeilen, die ein Audit liest, bevor es Hypothesen erzeugt. Die Datei gibt es, weil das Audit vom 29. Juli den Großteil seines Budgets damit verbrachte, sich selbst zu widerlegen: 8 seiner 13 Hypothesen beschrieben Duplikate, die frühere Arbeit längst entfernt hatte. Die Begründung im Ledger:

a suspected problem that turns out to be clean is worth exactly as much as one that is real, and stops the next pass re-chasing it.

Jede Zeile hat einen Anker, die Datei, die den Eintrag belegt, und ein Release-Check schlägt fehl, wenn ein Anker nicht mehr auflöst. Auf main sagen heute 53 von 2928 Commit-Betreffzeilen „refuted“ oder „does not reproduce“.

Das Ledger ist kein Oracle, und der Kernel aus Abschnitt 1 zeigt das. Seine Zeile nannte ihn zuerst ein Test-Oracle ohne Aufrufer außerhalb von tests/. Eine Korrektur vom 17. Oktober sagte, er bediene jeden Verify-Chunk. #2802 wurde einen Tag später gemerged und machte das für gecapturete Chunks falsch. Dieser Satz blieb im Ledger, bis #3049 die Zeile erneut korrigierte. Ein Anker beweist, dass eine Datei existiert, nie, dass eine Aussage darüber noch stimmt.

Was eine Widerlegung braucht#

  • Den Beweis, dass der Pfad lief. Ein Launch-Zähler, eine Log-Zeile, ein Counter, dazu eine Kontrolle, in der er nicht null anzeigt. Das Ledger sagt es über eine Log-Zeile, die nie gedruckt wurde: „A gate that cannot be shown to fire has not been validated.“
  • Mehr als eine Eingabe, sobald eine Änderung die Ausgabe verändern kann. Ein Prompt ergab +5,0 % für eine Änderung, die verliert.
  • Mehr Paare vor einem Bisect. Nicht überlappende Bereiche aus 3 Paaren reichten nicht.
  • Ein zweites Instrument. nvidia-smi neben cudaMemGetInfo beendete eine Suche, die acht Theorien nicht beendet hatten.
  • Den Diff und eine Bedingung zum Wiederaufgreifen. Ein Urteil ohne beides wird noch einmal bezahlt.

Ehrliche Grenzen#

  • Ein Urteil hat ein Datum. #3049 wurde um 14:22 gemerged. #3050 wurde am selben Tag um 16:34 gemerged und änderte zwei seiner Voraussetzungen: MTP draftet jetzt über 16384 Tokens hinaus, und ein einzelner Request prüft im Batched-Schritt mit 3 Zeilen. Dem Code nach bleibt der Kernel aus, weil auch diese Schritte gecaptured sind und den Small-M-Weg nehmen. Das ist eine Lesart. Den Launch-Zähler hat niemand neu laufen lassen.
  • Jedes Urteil gilt für ein Modell auf einer Karte. Adaptive Tiefe verlor auf Qwen3.8-27B-NVFP4 und sagt nichts über andere Akzeptanzraten.
  • Drei Ursachen bleiben offen. Warum eine Padding-Zeile den Greedy-Text ändert, was den Sweep für v0.63.0 bewegt hat und warum die Anzeige des Treibers springt.
  • Es kostet. 1892 hinzugefügte Zeilen Belege und Tools über die vier hinweg, und keine davon hat ein Token schneller gemacht.

Die nächste Session, die sich diesen Kernel ansieht, liest zuerst eine Tabellenzeile. Diese Zeile lag schon zweimal falsch, also bekommt sie auch einen Launch-Zähler.