# Prefill, Decode und die Roofline, die alles erklärt
> Eine Inference-Engine hat nicht ein Tempo, sondern zwei, und die gehorchen entgegengesetzten Gesetzen. Die Roofline ist die nützlichste Linse, um über LLM-Leistung nachzudenken.
Source: https://rfriedmann.de/de/blog/prefill-vs-decode-roofline/ · English: https://rfriedmann.de/blog/prefill-vs-decode-roofline/
Published: 2026-05-05 · Track: log · Level: Advanced
Alle nennen „Tokens pro Sekunde“, als hätte eine Engine ein einziges Tempo. Sie hat
zwei, und die unterliegen entgegengesetzten Grenzen. Wenn du siehst, warum, hören die
meisten überraschenden Zahlen bei der LLM-Inference auf, überraschend zu sein. Zu dieser
Linse greife ich als Erstes, und es lohnt sich, sie ordentlich einzubauen.
Die sanfte Version der beiden Phasen steht im [Rundgang durch die
Engine](/de/blog/how-imp-works-model-to-token/). Hier geht es direkt ans Warum.
## Zwei Decken
Eine GPU hat zwei getrennte Tempolimits. Wie schnell sie rechnen kann (gemessen in
TFLOP/s) und wie schnell sie Daten in den Speicher und aus ihm heraus bewegen kann
(gemessen in TB/s). Bei jedem Stück Arbeit stößt du zuerst an eines der beiden, und das
ist dann die Grenze, die dich deckelt. Den Ausschlag gibt ein einziges Verhältnis.
Trägst du das Tempo gegen dieses Verhältnis auf, bekommst du die berühmte „Roofline“:
eine ansteigende Linie (solange der Speicher begrenzt, bringt mehr Intensität mehr
Tempo), die in eine Decke übergeht (sobald die Rechenleistung begrenzt, bringt mehr
Intensität nichts).
Die Roofline: warum Prefill und Decode in verschiedenen Welten leben
[diagram omitted — see the page for the chart]
Das Lesen deines Prompts (Prefill) nutzt jedes geladene Gewicht für viele Tokens, drückt also gegen die Rechendecke. Das Schreiben der Antwort (Decode) fasst jedes Gewicht einmal pro Token an, sitzt also weit links, begrenzt durch das Speichertempo, nicht durchs Rechnen.
## Prefill lebt rechts, Decode links
Jetzt setzt du die beiden Phasen in dieses Bild.
**Prefill** verarbeitet den ganzen Prompt auf einmal. Jedes geladene Gewicht wird gegen
viele Tokens genutzt, bevor es weggeworfen wird, also passiert pro Byte viel Rechnerei:
hohe arithmetische Intensität. Prefill sitzt auf dem flachen Teil und drückt gegen die
Rechendecke. Gib ihm mehr Tokens auf einmal, und es wird *effizienter*.
**Decode** schreibt ein Token nach dem anderen. Jedes Gewicht wird geladen, genau einmal
benutzt und verworfen. Das ist eine sehr niedrige arithmetische Intensität (etwa 1
FLOP/Byte in fp16), also klebt Decode am ansteigenden Teil, allein durch die
Speicherbandbreite begrenzt. Die Recheneinheiten verbringen die meiste Zeit im Leerlauf
und warten auf das nächste Gewicht.
## „Compute ist gratis“
Mach eine harte Zahl daraus. Bei einem typischen Decode-Schritt auf einer 5090 liegt die
arithmetische Intensität bei etwa **1 FLOP/Byte**, gegenüber einem Ridge Point von
rund **140 bis 470
FLOP/Byte**. Der Ridge Point ist einfach Spitzen-FLOP/s geteilt durch
Spitzenbandbreite: Mit den 1,79 TB/s der 5090 und gemessenen 253 TFLOP/s dense fp16
(fp32-Akkumulation) bis 838 (fp16-Akkumulation) landet das bei rund 140 bis 470
FLOP/Byte. Decode sitzt mindestens zwei Größenordnungen links davon. Die Doku sagt es
unverblümt: *Compute ist gratis.* Der Chip rechnet fast nie; er wartet fast immer auf
Bytes.
Diese Bandbreitendecke übersetzt sich direkt in eine Token-Rate. Ein 8B-Modell in fp16
hat etwa 16 GB Gewichte, und die streamst du alle einmal pro Token, also deckeln dich
1,79 TB/s geteilt durch 16 GB bei knapp **110 tok/s** (und bei rund **220 tok/s** in
int8, das die Bytes halbiert). Die Rechendecke kommt gar nicht erst ins Bild.
Das hat eine scharfe Konsequenz. Beim Single-Stream-Decode zählt nur ein Hebel: weniger
Bytes bewegen, und zwar schneller. Genau deshalb hilft
[Quantisierung](/de/blog/how-a-big-model-fits-on-one-card/) dem Decode so sehr, und
deshalb bringt ihm eine ganze Liste klug klingender Optimierungen nichts. imps Notizen
schließen alle drei für Decode rechnerisch aus, nicht durch Messung: Bei 2048 Tokens
Kontext ist der KV-Cache eines Layers 4 MB groß und braucht 2,2 µs zum Laden, und die
Score-Rechnung daneben ist ein Rundungsfehler. Ein Decode-Benchmark der drei wurde nicht
aufgezeichnet.
- **FP8-Scores** in der Attention. Die Recheneinheiten sind ohnehin im Leerlauf, sie billiger zu machen ändert also nichts.
- **Warp-Spezialisierung.** Alle Warps streamen schon mit Spitzenrate aus dem Speicher; es bleibt keine Überlappung zu gewinnen.
- **Schickere Speicherbefehle für den KV-Cache.** Die schlichte asynchrone Kopie liegt schon nahe an der Bandbreitendecke.
Keine davon bewegt Bytes, also bewegt keine davon Decode.
## Warum diese Linse zählt
Das ist der ganze Grund, warum eine Engine, die bei Prefill schnell ist, nicht
automatisch bei Decode schnell ist, und umgekehrt. Die beiden leben unter verschiedenen
Decken und wollen verschiedene Kernels. Deshalb teilt sich die [hart erkämpfte
Kernel-Arbeit](/de/blog/optimizing-kernels-consumer-blackwell/) sauber entlang dieser
Linie.
Und deshalb ändert **Batching** alles. Bedienst du viele Nutzer zugleich, teilen sich
ihre Decode-Streams jedes geladene Gewicht, was Decode nach rechts in den Rechenbereich
zieht, wo die brachliegende Rechenleistung endlich genutzt wird. Das ist der Trick des
Rechenzentrums. Wer zu Hause allein ein Modell betreibt, hat nichts davon, und deshalb
ist beim Decode der Gewichte mit Batch 1 die Bandbreite der dominante Hebel, und deshalb
zählt das [Speichertempo](/de/blog/what-is-a-gpu/) einer Karte mehr als ihre reine
Rechenleistung. Das gilt speziell fürs Streamen der Gewichte; außen vor bleiben Prefill
(rechengebunden) und Attention bei langem Kontext, wo der KV-Cache-Verkehr zu einem
eigenen Flaschenhals wird. Die [Zahlen](/de/blog/serving-30b-models-rtx-5090/) fallen
alle aus diesem einen Bild heraus.