# Speculative Decoding, wenn sich die Chats überlappen
> Qwen3.8-27B bringt seinen eigenen Draft-Head mit. In imp machte er einen einzelnen Chat 35 % schneller, und jeder weitere Chat oder Side-Request der UI schaltete ihn ab. Neun Änderungen später dekodieren vier überlappende Chats mit etwa 140 tok/s statt 84.
Source: https://rfriedmann.de/de/blog/mtp-when-chats-overlap/ · English: https://rfriedmann.de/blog/mtp-when-chats-overlap/
Published: 2026-11-04 · Track: log · Level: Expert
Qwen3.8-27B bringt einen kleinen Zusatzblock mit, den MTP-Head, der das Token nach dem
nächsten errät. Auf einem einzelnen Stream nutzt imp ihn seit August: Der Head
entwirft, das Hauptmodell prüft den Draft im selben Schritt, und etwa 70 % der Drafts
werden akzeptiert. Das ist [Speculative Decoding](/de/blog/speculative-decoding/) mit
eingebautem Draft-Modell.
Echter Chat-Traffic ist kein einzelner Stream. Eine Chat-UI schickt zwischen zwei
Turns einen Side-Request los, um die Unterhaltung zu benennen. Eine zweite Person
öffnet einen zweiten Chat. Jeder dieser Fälle schaltete den Head ab, jedes Mal aus
einem anderen Grund. Dieser Post geht die neun Änderungen durch, alle gemerged
am 3. und 4. November 2026, die ihn weiter Drafts erzeugen lassen, wenn sich Chats
überlappen. Jede Zahl stammt aus der A/B-Tabelle des jeweils genannten Pull Requests:
Qwen3.8-27B-NVFP4 auf einer RTX 5090, ein frischer Server pro Arm, drei abwechselnde
Paare.
| Schritt | PR | was falsch war | Art |
|---:|---|---|---|
| 1 | [#3029](https://github.com/kekzl/imp/pull/3029) | Head auf einem Server mit parallelen Requests nicht geladen | aus |
| 2 | [#3030](https://github.com/kekzl/imp/pull/3030) | ein Head-Slot, den der Side-Request der UI belegte | aus |
| 3 | [#3031](https://github.com/kekzl/imp/pull/3031) | ein Batched Step fütterte den Head nicht | aus |
| 4 | [#3034](https://github.com/kekzl/imp/pull/3034) | ein Batched Step konnte keinen Draft prüfen | Wert |
| 5 | [#3037](https://github.com/kekzl/imp/pull/3037) | ein Draft pro Request | Wert |
| 6 | [#3039](https://github.com/kekzl/imp/pull/3039) | die Schätzung las den FP8-LM-Head | Preis |
| 7 | [#3045](https://github.com/kekzl/imp/pull/3045) | der Head-Pass bestand aus 56 Launches | Preis |
| 8 | [#3047](https://github.com/kekzl/imp/pull/3047) | der Draft-Kernel las eine Gewichtszeile pro Block | Preis |
| 9 | [#3048](https://github.com/kekzl/imp/pull/3048) | der Rentabilitäts-Wächter ignorierte Batched Verifies | aus |
„aus“ heißt, der Head wurde abgeschaltet, ohne dass es jemand merkte; „Wert“ und
„Preis“ heißen, er lief, brachte aber weniger, als er konnte.
## Warum dieses Modell es schwer macht
Bei einem reinen Transformer lässt sich ein abgelehnter Draft kostenlos rückgängig
machen: Der [KV-Cache](/de/blog/kv-cache-and-long-context/) wirft einfach seine letzte
Zeile weg. Qwen3.8-27B ist ein Hybrid: 16 Attention-Layer und 48 Gated-DeltaNet-Layer,
die statt eines Caches einen [rekurrenten Zustand](/de/blog/when-the-model-is-not-a-transformer/)
tragen. Dieser Zustand wird mit jedem Token überschrieben, es gibt also nichts
abzuschneiden.
imps Antwort ist ein Reserve-Slot für den Zustand. Ein Verify-Schritt schreibt den
Zustand nach „letztes Token plus Draft“ in einen Reserve-Slot und den Zustand nach „nur
letztes Token“ an Ort und Stelle. Wird der Draft akzeptiert, wird der Reserve-Slot zum
Live-Slot des Requests. Wenn nicht, bleibt der Live-Slot, wo er war. Keine Kopien, aber
jeder Request, der verifiziert, braucht einen eigenen Reserve-Slot, und bei diesem
Modell ist ein Slot 79,5 MiB groß.
Draft akzeptiert
2 Tokens ausgegeben
Reserve-Slot wird zum Live-Slot
alter Live-Slot wird zur Reserve
Draft verfehlt
1 Token ausgegeben
Reserve-Slot wird verworfen
Live-Slot enthält schon den richtigen Zustand
Auch der Head hat eigenen Zustand: einen KV-Cache der Hidden-Zeilen, die er gesehen hat.
Ein Request kann nur Drafts erzeugen, solange dieser Cache mit seinem Kontext Schritt
hält. Die meisten Fehler weiter unten waren genau das: Dieser Cache kam aus dem Tritt.
## Schritt 1: Der Head war gar nicht geladen
`speculative.mtp_k=auto` lud den Head nur, wenn der Server mit einer maximalen
Batch-Größe von 1 lief. Ein Standard-`imp-server` erlaubt 32 parallele Requests,
bediente dieses Modell also ohne Drafts. [#3029](https://github.com/kekzl/imp/pull/3029)
lädt den Head auf einem Server mit parallelen Requests, wenn das Modell ein GDN-Hybrid
ist. Ein Prompt, der allein prefillt, bindet den Head und draftet, solange er allein
dekodiert; ein Batch aus mehreren dekodiert ohne Drafts.
| Standard-Server | vorher | nachher |
|---|---:|---:|
| 1 Stream, tok/s | 96,87 | **131,28** |
| 4 parallele Bursts, tok/s | 341,3 | 339,7 |
| 32 parallele Bursts, tok/s | 2043,5 | 2042,0 |
| eigene VRAM-Spitze, MiB | 22034 | 24807 |
Ein Stream wurde 35,5 % schneller, 2552 von 3644 Drafts wurden akzeptiert. Der Preis
sind 2773 MiB und ein kleinerer KV-Pool: von 15651 Blöcken runter auf 13230.
## Schritt 2: Ein Slot, und die UI nahm ihn
Der Head hatte einen KV-Slot. Der Side-Request der Chat-UI zwischen zwei Turns
überschrieb ihn. Der nächste Turn setzte aus dem Prefix-Cache mit 464 bis 2272
gecachten Tokens wieder auf, aber der Head brauchte für diese Tokens Hidden-Zeilen, die
das gecachte Präfix nie erzeugt hatte. Also löste er die Bindung, und die Turns 3 bis 6
dekodierten ohne Drafts. [#3030](https://github.com/kekzl/imp/pull/3030) gibt dem Head
4 Slots und wählt den, dessen Verlauf den Wiedereinstieg abdeckt.
| Unterhaltung mit 6 Turns | vorher | nachher | Folge-Turns mit Drafts |
|---|---:|---:|---|
| greedy Chat + Side-Request der UI | 101,88 tok/s | **122,28** | 3/15 → 15/15 |
| zwei Chats im Wechsel | 101,52 tok/s | **117,43** | 6/30 → 30/30 |
| einfacher greedy Chat (Kontrolle) | 119,93 tok/s | 119,60 | 15/15 → 15/15 |
K+V des Heads wuchs von 64 auf 256 MiB.
## Schritt 3: Ein Batched Step ließ den Head zurück
Wenn zwei Chats im selben Moment dekodieren, teilen sie sich einen Batched Step, und
dieser Step fütterte den Head nicht. Der Head-Cache des gebundenen Requests fiel hinter
dessen Kontext zurück, sodass der nächste einzelne Schritt die Bindung löste.
[#3031](https://github.com/kekzl/imp/pull/3031) kopiert aus jedem Batched Step die
Hidden-Zeile jedes gebundenen Requests in einen Carry-Puffer (256 Zeilen zu 10 KiB pro
Slot) und füttert den Head später daraus, in der richtigen Reihenfolge.
| 2 überlappende Chats, je 6 Turns | vorher | nachher |
|---|---:|---:|
| Turns mit Drafts | 6/36 | 35/36 |
| mittlere tok/s | 93,78 | **98,38** |
Der Head draftet jetzt in 35 von 36 Turns. Der Gewinn ist noch klein, weil ein Batched
Step die Hidden-Zeilen zwar mitnehmen, aber noch keinen Draft nutzen kann.
## Schritt 4: Die Drafts gemeinsam prüfen
Decode auf dieser Karte ist [durch die Speicherbandbreite begrenzt](/de/blog/prefill-vs-decode-roofline/).
Bei 32 Streams sind 12,06 ms eines Schritts von 14,75 bis 14,98 ms die Zeit, um die
Gewichte, den LM-Head und den rekurrenten Zustand einmal aus dem DRAM zu streamen. Ein
paar Zeilen mehr ändern den Preis eines so kleinen Schritts kaum.
[#3034](https://github.com/kekzl/imp/pull/3034) sorgt dafür, dass der Schritt mit 2 bis
4 dekodierenden Requests für jeden gebundenen Request das letzte Token *plus* dessen
Draft durchs Modell schickt.
| Schrittpreis | Zeilen | Zeit | Tokens raus |
|---|---:|---:|---:|
| einfacher Decode, 4 Requests | 4 | 11,72 ms | 4 |
| gebundenes Verify, 4 Requests | 8 | 13,12-13,65 ms Forward + 2,02-2,65 ms Head | 7,15-7,20 |
Ein Forward für alle
Jeder gebundene Request steuert sein letztes Token und seinen Draft bei. Attention bekommt eine Block-Tabelle pro Zeile, die GDN-Layer schreiben den Draft-Zustand in den Reserve-Slot des Requests.
Ein Argmax über alle Zeilen
LM-Head und Argmax laufen über jede Zeile, eine Kopie zum Host.
Annahme pro Request
Ein Request, dessen Draft passte, nimmt beide Tokens und schaltet seinen Live-Zustands-Slot auf die Reserve um. Einer, der danebenlag, behält ein Token und seinen alten Slot.
Ein Head-Pass für alle
Der Head bekommt jedes neue Paar (Token, Hidden-Zeile) in einem Ragged-Pass und draftet für jeden Request das nächste Token.
| | vorher | nachher |
|---|---:|---:|
| 2 überlappende Chats, tok/s pro Turn | 94,21 | **117,06** |
| 4 überlappende Chats | 83,72 | **117,45** |
| Turns mit Drafts, 4 Chats | 13/72 | 72/72 |
| 4 parallele Bursts | 337,0-338,1 | **457,2-461,8** |
| 32 parallele Bursts | 2020,2-2030,6 | 2029,8-2034,7 |
Derselbe PR behob zwei Defekte im älteren Opt-in-Pfad: Sein Zeilenlimit las das
unaufgelöste `max_batch_size` von 0, sodass jeder Schritt ablehnte, und sein Batched
Draft brauchte einen LM-Head, den der Export dieses Modells nicht baut.
## Schritte 5 bis 8: Jedes Verify mehr wert und billiger machen
Steht das Batched Verify, ist der Rest eine Frage des Preises pro Schritt.
| PR | Änderung | 4 überlappende Chats, tok/s |
|---|---|---|
| [#3037](https://github.com/kekzl/imp/pull/3037) | 2 Drafts pro Request, je 3 Zeilen | 121,59 → **134,17** |
| [#3039](https://github.com/kekzl/imp/pull/3039) | Drafts lesen den 682 MiB großen NVFP4-Head statt des 1213 MiB großen FP8-Heads | 133,07 → **138,15** |
| [#3045](https://github.com/kekzl/imp/pull/3045) | der Head-Pass wird als ein CUDA Graph abgespielt | 140,40 → **143,47** |
| [#3047](https://github.com/kekzl/imp/pull/3047) | der Draft-LM-Head-Kernel liest 4 Gewichtszeilen pro Block | 141,26 → **142,76** |
Jede Zeile ist ihr eigenes A/B, ein „vorher“ entspricht also nicht dem vorherigen
„nachher“: Zwischen Läufen zu verschiedenen Stunden bewegt sich derselbe Build um ein
paar Prozent.
**Zwei Drafts.** Bei 4 Requests läuft k = 2 mit 12 Zeilen in 13,87-13,93 ms plus einem
Head-Pass von 3,79-3,80 ms für 9,24-9,42 Tokens. k = 1 lief mit 8 Zeilen in
12,86-12,89 ms plus 2,02-2,03 ms für 6,87-7,16 Tokens. Etwa ein Fünftel mehr Zeit für
ein Drittel mehr Tokens. Jeder Request braucht jetzt zwei Reserve-Slots, also schrumpfte
der KV-Pool von 12305 auf 11380 Blöcke.
**Ein billigerer Draft-Head.** Ein Draft-Pass über das Vokabular, eine
[248320 x 5120]-Matrix, kostet bei 1 Zeile 926,3 µs aus dem FP8-Head und 425,3 µs aus
dem NVFP4-Head. Nur die *Schätzung* liest den 4-Bit-Head. Die Prüfung, die entscheidet,
welche Tokens ausgegeben werden, bleibt auf FP8, die Ausgabequalität hängt also nicht
davon ab. Die Akzeptanz bewegte sich bei 2 Chats von 68,34 auf 67,96 %.
**Ein CUDA Graph.** Der Head-Pass bestand aus 25 + 31 einzelnen Launch-Aufrufen. Als ein
Graph abgespielt, sank die Leerlaufzeit der GPU innerhalb eines Passes von 433,4 auf
145,2 µs.
**Vier Zeilen pro Block.** Der Draft-Kernel gab jedem Block eine Gewichtszeile und las
für jede die Aktivierungen neu. Bei 4 Zeilen erreichte er 64,82 % der DRAM-Bandbreite.
Vier Gewichtszeilen pro Block gegen in Registern gehaltene Aktivierungen: 86,47 %, und
659,8 → 456,6 µs pro Pass, bit-identisch. 4 parallele Bursts stiegen von 534,17 auf
564,33 tok/s.
[diagram omitted — see the page for the chart]
Jeder Balken ist der „nachher“-Arm seines eigenen Pull Requests (#3034, #3037, #3039, #3045), volle Breite = 150 tok/s. Der graue Balken ist der „vorher“-Arm von #3034, der die Schritte 1 bis 3 schon hatte.
## Schritt 9: Der Wächter, der nur die halben Beweise sah
imp löst die Bindung eines Requests, dessen Drafts sich nicht lohnen: Gibt ein Verify im
Schnitt weniger als 1,6 Tokens aus, ist der Head seinen Preis nicht wert. Dieser Wächter
zählte nur einzelne Verifies. Ein Request, der die ganze Zeit in Batched Steps gut
gedraftet hatte, wurde nach dem Ende seines Nachbarn nach seinen letzten 8 einzelnen
Verifies beurteilt. Request 35 löste die Bindung bei `verifies=8 emitted=12`, während
seine Response 659 von 1138 akzeptierte Drafts meldete.
[#3048](https://github.com/kekzl/imp/pull/3048) nimmt die Batched Verifies in die
Zählung auf.
| 2 überlappende Chats | vorher | nachher |
|---|---:|---:|
| Unbinds pro Server | 1 / 2 / 2 | 0 / 0 / 0 |
| tok/s | 134,02 | **138,55** |
| letzter Teil von Request 35, allein | 3,06-3,09 s | 2,23-2,24 s |
## Gleicher Text, schneller
Greedy Decoding liefert genau eine Antwort, also darf Tempoarbeit sie nicht ändern. Der
einzelne Chat und der Chat mit Side-Request erzeugten in #3031, #3034 und #3047
byte-identische Transkripte gegenüber main, jedes Mal 6 von 6, und der einfache Chat tat
das in #3030. Die Degenerations-Suite bestand in #3029 und #3034 52 Checks mit 0 Fehlern.
## Ehrliche Grenzen
- **Nur greedy und nur kleine Batches.** Ein Batch mit einer gesampelten Zeile oder mit
mehr als 4 dekodierenden Requests nimmt den einfachen Batched Step. Bei 32 parallelen
Bursts bindet nichts: 2043,5 tok/s vorher, 2042,0 nachher.
- **Nur GDN-Hybride.** Andere Modelle auf einem Server mit parallelen Requests behalten
das N-Gram-Drafting. Nemotrons MTP-Head draftet mit 39 % und verliert Decode-Rate,
also bleibt er dort aus.
- **VRAM.** Jeder gebundene Request zahlt für 2 Reserve-Slots zu 79,5 MiB, und der Head
selbst nahm auf einem Standard-Server 2773 MiB. Das geht vom KV-Pool ab.
- **Die Akzeptanz ist die Decke.** 67 bis 70 % der Drafts treffen bei Chat-Text. Alles
oben hat nur verhindert, dass der Head abgeschaltet wird, oder ihn billiger gemacht;
nichts davon macht die Schätzungen besser.
Jeder Fix war klein. Schwierig war zu sehen, dass der Head aus war: Jeder dieser Fehler
erzeugte immer noch den richtigen Text, nur ohne Drafts.
Nicht jede Idee aus diesen zwei Tagen hat überlebt: [Der Kernel, der nullmal
lief](/de/blog/the-kernel-that-ran-zero-times/) sammelt die anderen.