# Speculative Decoding, wenn sich die Chats überlappen > Qwen3.8-27B bringt seinen eigenen Draft-Head mit. In imp machte er einen einzelnen Chat 35 % schneller, und jeder weitere Chat oder Side-Request der UI schaltete ihn ab. Neun Änderungen später dekodieren vier überlappende Chats mit etwa 140 tok/s statt 84. Source: https://rfriedmann.de/de/blog/mtp-when-chats-overlap/ · English: https://rfriedmann.de/blog/mtp-when-chats-overlap/ Published: 2026-11-04 · Track: log · Level: Expert Qwen3.8-27B bringt einen kleinen Zusatzblock mit, den MTP-Head, der das Token nach dem nächsten errät. Auf einem einzelnen Stream nutzt imp ihn seit August: Der Head entwirft, das Hauptmodell prüft den Draft im selben Schritt, und etwa 70 % der Drafts werden akzeptiert. Das ist [Speculative Decoding](/de/blog/speculative-decoding/) mit eingebautem Draft-Modell. Echter Chat-Traffic ist kein einzelner Stream. Eine Chat-UI schickt zwischen zwei Turns einen Side-Request los, um die Unterhaltung zu benennen. Eine zweite Person öffnet einen zweiten Chat. Jeder dieser Fälle schaltete den Head ab, jedes Mal aus einem anderen Grund. Dieser Post geht die neun Änderungen durch, alle gemerged am 3. und 4. November 2026, die ihn weiter Drafts erzeugen lassen, wenn sich Chats überlappen. Jede Zahl stammt aus der A/B-Tabelle des jeweils genannten Pull Requests: Qwen3.8-27B-NVFP4 auf einer RTX 5090, ein frischer Server pro Arm, drei abwechselnde Paare. | Schritt | PR | was falsch war | Art | |---:|---|---|---| | 1 | [#3029](https://github.com/kekzl/imp/pull/3029) | Head auf einem Server mit parallelen Requests nicht geladen | aus | | 2 | [#3030](https://github.com/kekzl/imp/pull/3030) | ein Head-Slot, den der Side-Request der UI belegte | aus | | 3 | [#3031](https://github.com/kekzl/imp/pull/3031) | ein Batched Step fütterte den Head nicht | aus | | 4 | [#3034](https://github.com/kekzl/imp/pull/3034) | ein Batched Step konnte keinen Draft prüfen | Wert | | 5 | [#3037](https://github.com/kekzl/imp/pull/3037) | ein Draft pro Request | Wert | | 6 | [#3039](https://github.com/kekzl/imp/pull/3039) | die Schätzung las den FP8-LM-Head | Preis | | 7 | [#3045](https://github.com/kekzl/imp/pull/3045) | der Head-Pass bestand aus 56 Launches | Preis | | 8 | [#3047](https://github.com/kekzl/imp/pull/3047) | der Draft-Kernel las eine Gewichtszeile pro Block | Preis | | 9 | [#3048](https://github.com/kekzl/imp/pull/3048) | der Rentabilitäts-Wächter ignorierte Batched Verifies | aus | „aus“ heißt, der Head wurde abgeschaltet, ohne dass es jemand merkte; „Wert“ und „Preis“ heißen, er lief, brachte aber weniger, als er konnte. ## Warum dieses Modell es schwer macht Bei einem reinen Transformer lässt sich ein abgelehnter Draft kostenlos rückgängig machen: Der [KV-Cache](/de/blog/kv-cache-and-long-context/) wirft einfach seine letzte Zeile weg. Qwen3.8-27B ist ein Hybrid: 16 Attention-Layer und 48 Gated-DeltaNet-Layer, die statt eines Caches einen [rekurrenten Zustand](/de/blog/when-the-model-is-not-a-transformer/) tragen. Dieser Zustand wird mit jedem Token überschrieben, es gibt also nichts abzuschneiden. imps Antwort ist ein Reserve-Slot für den Zustand. Ein Verify-Schritt schreibt den Zustand nach „letztes Token plus Draft“ in einen Reserve-Slot und den Zustand nach „nur letztes Token“ an Ort und Stelle. Wird der Draft akzeptiert, wird der Reserve-Slot zum Live-Slot des Requests. Wenn nicht, bleibt der Live-Slot, wo er war. Keine Kopien, aber jeder Request, der verifiziert, braucht einen eigenen Reserve-Slot, und bei diesem Modell ist ein Slot 79,5 MiB groß.

Draft akzeptiert

Draft verfehlt

Auch der Head hat eigenen Zustand: einen KV-Cache der Hidden-Zeilen, die er gesehen hat. Ein Request kann nur Drafts erzeugen, solange dieser Cache mit seinem Kontext Schritt hält. Die meisten Fehler weiter unten waren genau das: Dieser Cache kam aus dem Tritt. ## Schritt 1: Der Head war gar nicht geladen `speculative.mtp_k=auto` lud den Head nur, wenn der Server mit einer maximalen Batch-Größe von 1 lief. Ein Standard-`imp-server` erlaubt 32 parallele Requests, bediente dieses Modell also ohne Drafts. [#3029](https://github.com/kekzl/imp/pull/3029) lädt den Head auf einem Server mit parallelen Requests, wenn das Modell ein GDN-Hybrid ist. Ein Prompt, der allein prefillt, bindet den Head und draftet, solange er allein dekodiert; ein Batch aus mehreren dekodiert ohne Drafts. | Standard-Server | vorher | nachher | |---|---:|---:| | 1 Stream, tok/s | 96,87 | **131,28** | | 4 parallele Bursts, tok/s | 341,3 | 339,7 | | 32 parallele Bursts, tok/s | 2043,5 | 2042,0 | | eigene VRAM-Spitze, MiB | 22034 | 24807 | Ein Stream wurde 35,5 % schneller, 2552 von 3644 Drafts wurden akzeptiert. Der Preis sind 2773 MiB und ein kleinerer KV-Pool: von 15651 Blöcken runter auf 13230. ## Schritt 2: Ein Slot, und die UI nahm ihn Der Head hatte einen KV-Slot. Der Side-Request der Chat-UI zwischen zwei Turns überschrieb ihn. Der nächste Turn setzte aus dem Prefix-Cache mit 464 bis 2272 gecachten Tokens wieder auf, aber der Head brauchte für diese Tokens Hidden-Zeilen, die das gecachte Präfix nie erzeugt hatte. Also löste er die Bindung, und die Turns 3 bis 6 dekodierten ohne Drafts. [#3030](https://github.com/kekzl/imp/pull/3030) gibt dem Head 4 Slots und wählt den, dessen Verlauf den Wiedereinstieg abdeckt. | Unterhaltung mit 6 Turns | vorher | nachher | Folge-Turns mit Drafts | |---|---:|---:|---| | greedy Chat + Side-Request der UI | 101,88 tok/s | **122,28** | 3/15 → 15/15 | | zwei Chats im Wechsel | 101,52 tok/s | **117,43** | 6/30 → 30/30 | | einfacher greedy Chat (Kontrolle) | 119,93 tok/s | 119,60 | 15/15 → 15/15 | K+V des Heads wuchs von 64 auf 256 MiB. ## Schritt 3: Ein Batched Step ließ den Head zurück Wenn zwei Chats im selben Moment dekodieren, teilen sie sich einen Batched Step, und dieser Step fütterte den Head nicht. Der Head-Cache des gebundenen Requests fiel hinter dessen Kontext zurück, sodass der nächste einzelne Schritt die Bindung löste. [#3031](https://github.com/kekzl/imp/pull/3031) kopiert aus jedem Batched Step die Hidden-Zeile jedes gebundenen Requests in einen Carry-Puffer (256 Zeilen zu 10 KiB pro Slot) und füttert den Head später daraus, in der richtigen Reihenfolge. | 2 überlappende Chats, je 6 Turns | vorher | nachher | |---|---:|---:| | Turns mit Drafts | 6/36 | 35/36 | | mittlere tok/s | 93,78 | **98,38** | Der Head draftet jetzt in 35 von 36 Turns. Der Gewinn ist noch klein, weil ein Batched Step die Hidden-Zeilen zwar mitnehmen, aber noch keinen Draft nutzen kann. ## Schritt 4: Die Drafts gemeinsam prüfen Decode auf dieser Karte ist [durch die Speicherbandbreite begrenzt](/de/blog/prefill-vs-decode-roofline/). Bei 32 Streams sind 12,06 ms eines Schritts von 14,75 bis 14,98 ms die Zeit, um die Gewichte, den LM-Head und den rekurrenten Zustand einmal aus dem DRAM zu streamen. Ein paar Zeilen mehr ändern den Preis eines so kleinen Schritts kaum. [#3034](https://github.com/kekzl/imp/pull/3034) sorgt dafür, dass der Schritt mit 2 bis 4 dekodierenden Requests für jeden gebundenen Request das letzte Token *plus* dessen Draft durchs Modell schickt. | Schrittpreis | Zeilen | Zeit | Tokens raus | |---|---:|---:|---:| | einfacher Decode, 4 Requests | 4 | 11,72 ms | 4 | | gebundenes Verify, 4 Requests | 8 | 13,12-13,65 ms Forward + 2,02-2,65 ms Head | 7,15-7,20 |
  1. Ein Forward für alle

    Jeder gebundene Request steuert sein letztes Token und seinen Draft bei. Attention bekommt eine Block-Tabelle pro Zeile, die GDN-Layer schreiben den Draft-Zustand in den Reserve-Slot des Requests.

  2. Ein Argmax über alle Zeilen

    LM-Head und Argmax laufen über jede Zeile, eine Kopie zum Host.

  3. Annahme pro Request

    Ein Request, dessen Draft passte, nimmt beide Tokens und schaltet seinen Live-Zustands-Slot auf die Reserve um. Einer, der danebenlag, behält ein Token und seinen alten Slot.

  4. Ein Head-Pass für alle

    Der Head bekommt jedes neue Paar (Token, Hidden-Zeile) in einem Ragged-Pass und draftet für jeden Request das nächste Token.

| | vorher | nachher | |---|---:|---:| | 2 überlappende Chats, tok/s pro Turn | 94,21 | **117,06** | | 4 überlappende Chats | 83,72 | **117,45** | | Turns mit Drafts, 4 Chats | 13/72 | 72/72 | | 4 parallele Bursts | 337,0-338,1 | **457,2-461,8** | | 32 parallele Bursts | 2020,2-2030,6 | 2029,8-2034,7 | Derselbe PR behob zwei Defekte im älteren Opt-in-Pfad: Sein Zeilenlimit las das unaufgelöste `max_batch_size` von 0, sodass jeder Schritt ablehnte, und sein Batched Draft brauchte einen LM-Head, den der Export dieses Modells nicht baut. ## Schritte 5 bis 8: Jedes Verify mehr wert und billiger machen Steht das Batched Verify, ist der Rest eine Frage des Preises pro Schritt. | PR | Änderung | 4 überlappende Chats, tok/s | |---|---|---| | [#3037](https://github.com/kekzl/imp/pull/3037) | 2 Drafts pro Request, je 3 Zeilen | 121,59 → **134,17** | | [#3039](https://github.com/kekzl/imp/pull/3039) | Drafts lesen den 682 MiB großen NVFP4-Head statt des 1213 MiB großen FP8-Heads | 133,07 → **138,15** | | [#3045](https://github.com/kekzl/imp/pull/3045) | der Head-Pass wird als ein CUDA Graph abgespielt | 140,40 → **143,47** | | [#3047](https://github.com/kekzl/imp/pull/3047) | der Draft-LM-Head-Kernel liest 4 Gewichtszeilen pro Block | 141,26 → **142,76** | Jede Zeile ist ihr eigenes A/B, ein „vorher“ entspricht also nicht dem vorherigen „nachher“: Zwischen Läufen zu verschiedenen Stunden bewegt sich derselbe Build um ein paar Prozent. **Zwei Drafts.** Bei 4 Requests läuft k = 2 mit 12 Zeilen in 13,87-13,93 ms plus einem Head-Pass von 3,79-3,80 ms für 9,24-9,42 Tokens. k = 1 lief mit 8 Zeilen in 12,86-12,89 ms plus 2,02-2,03 ms für 6,87-7,16 Tokens. Etwa ein Fünftel mehr Zeit für ein Drittel mehr Tokens. Jeder Request braucht jetzt zwei Reserve-Slots, also schrumpfte der KV-Pool von 12305 auf 11380 Blöcke. **Ein billigerer Draft-Head.** Ein Draft-Pass über das Vokabular, eine [248320 x 5120]-Matrix, kostet bei 1 Zeile 926,3 µs aus dem FP8-Head und 425,3 µs aus dem NVFP4-Head. Nur die *Schätzung* liest den 4-Bit-Head. Die Prüfung, die entscheidet, welche Tokens ausgegeben werden, bleibt auf FP8, die Ausgabequalität hängt also nicht davon ab. Die Akzeptanz bewegte sich bei 2 Chats von 68,34 auf 67,96 %. **Ein CUDA Graph.** Der Head-Pass bestand aus 25 + 31 einzelnen Launch-Aufrufen. Als ein Graph abgespielt, sank die Leerlaufzeit der GPU innerhalb eines Passes von 433,4 auf 145,2 µs. **Vier Zeilen pro Block.** Der Draft-Kernel gab jedem Block eine Gewichtszeile und las für jede die Aktivierungen neu. Bei 4 Zeilen erreichte er 64,82 % der DRAM-Bandbreite. Vier Gewichtszeilen pro Block gegen in Registern gehaltene Aktivierungen: 86,47 %, und 659,8 → 456,6 µs pro Pass, bit-identisch. 4 parallele Bursts stiegen von 534,17 auf 564,33 tok/s.
4 überlappende Chats, Qwen3.8-27B-NVFP4, tok/s (Gewinner-Arm jedes A/B)
[diagram omitted — see the page for the chart]
Jeder Balken ist der „nachher“-Arm seines eigenen Pull Requests (#3034, #3037, #3039, #3045), volle Breite = 150 tok/s. Der graue Balken ist der „vorher“-Arm von #3034, der die Schritte 1 bis 3 schon hatte.
## Schritt 9: Der Wächter, der nur die halben Beweise sah imp löst die Bindung eines Requests, dessen Drafts sich nicht lohnen: Gibt ein Verify im Schnitt weniger als 1,6 Tokens aus, ist der Head seinen Preis nicht wert. Dieser Wächter zählte nur einzelne Verifies. Ein Request, der die ganze Zeit in Batched Steps gut gedraftet hatte, wurde nach dem Ende seines Nachbarn nach seinen letzten 8 einzelnen Verifies beurteilt. Request 35 löste die Bindung bei `verifies=8 emitted=12`, während seine Response 659 von 1138 akzeptierte Drafts meldete. [#3048](https://github.com/kekzl/imp/pull/3048) nimmt die Batched Verifies in die Zählung auf. | 2 überlappende Chats | vorher | nachher | |---|---:|---:| | Unbinds pro Server | 1 / 2 / 2 | 0 / 0 / 0 | | tok/s | 134,02 | **138,55** | | letzter Teil von Request 35, allein | 3,06-3,09 s | 2,23-2,24 s | ## Gleicher Text, schneller Greedy Decoding liefert genau eine Antwort, also darf Tempoarbeit sie nicht ändern. Der einzelne Chat und der Chat mit Side-Request erzeugten in #3031, #3034 und #3047 byte-identische Transkripte gegenüber main, jedes Mal 6 von 6, und der einfache Chat tat das in #3030. Die Degenerations-Suite bestand in #3029 und #3034 52 Checks mit 0 Fehlern. ## Ehrliche Grenzen - **Nur greedy und nur kleine Batches.** Ein Batch mit einer gesampelten Zeile oder mit mehr als 4 dekodierenden Requests nimmt den einfachen Batched Step. Bei 32 parallelen Bursts bindet nichts: 2043,5 tok/s vorher, 2042,0 nachher. - **Nur GDN-Hybride.** Andere Modelle auf einem Server mit parallelen Requests behalten das N-Gram-Drafting. Nemotrons MTP-Head draftet mit 39 % und verliert Decode-Rate, also bleibt er dort aus. - **VRAM.** Jeder gebundene Request zahlt für 2 Reserve-Slots zu 79,5 MiB, und der Head selbst nahm auf einem Standard-Server 2773 MiB. Das geht vom KV-Pool ab. - **Die Akzeptanz ist die Decke.** 67 bis 70 % der Drafts treffen bei Chat-Text. Alles oben hat nur verhindert, dass der Head abgeschaltet wird, oder ihn billiger gemacht; nichts davon macht die Schätzungen besser. Jeder Fix war klein. Schwierig war zu sehen, dass der Head aus war: Jeder dieser Fehler erzeugte immer noch den richtigen Text, nur ohne Drafts. Nicht jede Idee aus diesen zwei Tagen hat überlebt: [Der Kernel, der nullmal lief](/de/blog/the-kernel-that-ran-zero-times/) sammelt die anderen.