# Speculative Decoding: Lass ein kleines Modell raten > Decode ist bandbreitenbegrenzt, also liegen die Recheneinheiten der GPU meist brach. Speculative Decoding nutzt diese Rechenleistung, um geratene Tokens zu prüfen: gleiche Ausgabe, schneller. Source: https://rfriedmann.de/de/blog/speculative-decoding/ · English: https://rfriedmann.de/blog/speculative-decoding/ Published: 2026-06-22 · Track: log · Level: Expert [Decode ist bandbreitenbegrenzt](/de/blog/prefill-vs-decode-roofline/): Ein Token zu erzeugen heißt, die Gewichte des ganzen Modells durch die GPU zu streamen, um ein einziges Wort zu liefern, und während dieser ganze Speicherverkehr läuft, sitzen die Recheneinheiten des Chips größtenteils untätig herum. Das ist die Roofline, und es ist der zentrale Frust der Single-Stream-Inference. Das Laden der Gewichte kostet gleich viel, ob du ein Token berechnest oder zehn; du zahlst den vollen Preis für die Bandbreite und nutzt einen Bruchteil der Rechenleistung. Speculative Decoding ist der Trick, der diese verschwendete Rechenleistung ausgibt. Die Ausgabe ist *identisch* mit normalem Sampling, Token für Token in der Verteilung, aber sie kommt schneller an. Es ist einer der wenigen Free Lunches in diesem Feld, und er ergibt sich direkt aus der Roofline, sobald du ihn einmal gesehen hast. ## Die Idee: billig raten, im Block prüfen Zwei Modelle. Ein kleines, schnelles **Draft**-Modell und das große **Target**-Modell, von dem du eigentlich die Antworten willst. Die Schleife: 1. Das Draft-Modell rät billig die nächsten paar Tokens, sagen wir 4, eines nach dem anderen. Es ist klein, also geht das schnell, und schnell ist der ganze Punkt. 2. Das Target-Modell prüft alle 4 Tipps **in einem einzigen Forward Pass**, parallel, genauso wie der [Prefill](/de/blog/prefill-vs-decode-roofline/) viele Tokens auf einmal verarbeitet. 3. Du behältst das längste korrekte Präfix, und sobald ein Tipp falsch ist, wirfst du ihn und den Rest weg und nimmst an dieser Stelle das eigene Token des Targets. Die Magie steckt in Schritt 2, und sie ist pure Roofline. 4 Tokens zu prüfen lädt die Gewichte des Targets *einmal*, genau wie das Laden für 1 Token, weil der Engpass die Bandbreite war, nicht die Rechenleistung. Du prüfst also 4 Tipps fast zum Preis davon, 1 Token zu erzeugen. Lag der Draft bei 3 davon richtig, hast du gerade 4 Tokens ausgegeben (3 akzeptierte + 1 vom Target) für die Bandbreitenkosten eines Decode-Schritts. Das ist der Speedup, und es ist die brachliegende Rechenleistung aus der Roofline, die endlich etwas tut.
Ein Target-Durchlauf, vier Tokens auf einmal geprüft
[diagram omitted — see the page for the chart]
Der Draft riet „die Katze saß schnell“; das Target stimmte bis „saß“ zu, lehnte „schnell“ ab und lieferte stattdessen „auf“. Vier Tokens rücken vor, zu den Bandbreitenkosten eines Decode-Schritts. Liegt der Draft früh falsch, fällst du in Richtung eines Tokens pro Durchlauf zurück, also auf den Ertrag von einfachem Decode, plus die Kosten des Drafts.
## Der Teil, der es ehrlich macht: kein Qualitätsverlust Die naheliegende Sorge: Verschlechtert das Vertrauen in die Tipps eines kleinen Modells nicht die Ausgabe? Tut es nicht, und genau das trennt es von „nimm einfach ein kleineres Modell“. Der Prüfschritt ist kein Bauchgefühl-Check, er ist ein präzises Stück Rejection Sampling. Für jedes vorgeschlagene Token vergleichst du die Wahrscheinlichkeit des Drafts dafür mit der des Targets. Mag das Target es mindestens genauso, akzeptierst du. Wenn weniger, akzeptierst du es nur mit Wahrscheinlichkeit `p_target / p_draft`, und bei einer Ablehnung ziehst du den Ersatz aus einer sorgfältig korrigierten Restverteilung. Die Mathematik geht so auf, dass der Strom ausgegebener Tokens **beweisbar genau so verteilt ist, als hättest du allein aus dem Target-Modell gesampelt**. Das Draft-Modell beeinflusst immer nur das *Tempo*, nie, *was* erzeugt wird. Du bekommst die Antwort des großen Modells; du bekommst sie nur früher. Diese Garantie ist der ganze Grund, warum sich das lohnt und keine billige Näherung ist. Die für Nutzer sichtbare Ausgabe ist Bit für Bit die Verteilung des Targets; den Draft siehst du nur auf der Uhr. ## Was den Speedup entscheidet Geschenkt ist das nicht; der Gewinn hängt an zwei konkurrierenden Größen. - **Akzeptanzrate, α.** Wie oft der Draft richtig rät. Ein Draft, der das Target gut abbildet (gleiche Familie, ähnliches Training), wird oft akzeptiert, also fliegen lange Token-Folgen durch. Ein schlecht passender Draft wird früh abgelehnt, und du schlägst einfachen Decode kaum. - **Draft-Kosten.** Der Draft läuft sequenziell und bringt seine eigene Latenz mit. Ist er zu groß, frisst sein Aufwand die Ersparnis; zu klein, und er rät schlecht. Es gibt einen Sweet Spot, oft ein Draft, der ungefähr 10-20x kleiner ist als das Target. Die beiden ziehen gegeneinander, und deshalb landen reale Speedups für Decode bei etwa **2 bis 3x** statt bei den 5x, die ein perfekter Draft aus vier Tokens brächte (vier akzeptierte plus das nächste Token des Targets). Vorhersagbarer Text (Boilerplate, Code mit offensichtlicher Fortsetzung) wird bereitwilliger akzeptiert, wirklich überraschender Text weniger. Die Zahl hängt vom Workload ab, und jeder ehrliche Benchmark sagt, welchen Workload er gemessen hat. ## Drafts ohne zweites Modell Ein separates Draft-Modell ist die klassische Form, aber es kostet Speicher, den du auf einer [einzelnen Consumer-Karte](/de/blog/what-the-5090-lacks-vs-datacenter/) vielleicht nicht übrig hast. Mehrere Varianten kommen ganz ohne das zweite Modell aus: - **Prompt Lookup / N-Gramm.** Bei Aufgaben mit viel Wiederholung (ein Dokument zusammenfassen oder bearbeiten, wobei Stücke der Eingabe wörtlich in der Ausgabe wiederkehren) rätst du die nächsten Tokens einfach, indem du aus dem früheren Text kopierst. Kein Modell, Kosten nahe null, beim richtigen Workload überraschend wirksam. - **Self-Speculation (Medusa, EAGLE und Verwandte).** Schraub ein paar zusätzliche leichte Heads an das Target-Modell selbst, damit es in einem Zug mehrere Tokens im Voraus vorhersagt, und prüf dann wie gewohnt. Keine separaten Gewichte zu hosten; der Draft *ist* das Target mit zusätzlichen Heads. Manche Modelle bringen so einen Head schon aus dem Training mit: Wie imp den MTP-Head von Qwen3.8-27B weiter draften lässt, wenn mehrere Chats gleichzeitig laufen, steht in [Speculative Decoding, wenn sich die Chats überlappen](/de/blog/mtp-when-chats-overlap/). Alle teilen die eine strukturelle Idee: langsamen, bandbreitenbegrenzten Decode, ein Token nach dem anderen, in ein paar billige Tipps verwandeln, die ein paralleler, rechenfreundlicher Durchlauf benotet. Das ist die Roofline, mit Absicht ausgenutzt. ## Warum es in den Werkzeugkasten gehört Speculative Decoding macht weder die GPU schneller noch das Modell kleiner. Es bemerkt, dass Single-Stream-Decode die Recheneinheiten brachliegen lässt, und setzt sie ein, um zu *prüfen* statt zu *erzeugen*, und verwandelt so überschüssige Rechenleistung in Latenz, die du wirklich spürst. Es ist das sauberste Beispiel für ein wiederkehrendes Thema in diesem Log: Sobald du [den Engpass präzise benennen](/de/blog/prefill-vs-decode-roofline/) kannst, schreibt sich die Optimierung oft von selbst, und die besten kosten dich nichts an Qualität. Für eine einzelne Karte auf der Jagd nach [300 Tokens pro Sekunde](/de/blog/serving-30b-models-rtx-5090/) ist das genau die Art Free Lunch, für die es sich lohnt, den Tisch zu decken.