Prefill, Decode und die Roofline, die alles erklärt
Eine Inference-Engine hat nicht ein Tempo, sondern zwei, und die gehorchen entgegengesetzten Gesetzen. Die Roofline ist die nützlichste Linse, um über LLM-Leistung nachzudenken.
Alle nennen „Tokens pro Sekunde“, als hätte eine Engine ein einziges Tempo. Sie hat zwei, und die unterliegen entgegengesetzten Grenzen. Wenn du siehst, warum, hören die meisten überraschenden Zahlen bei der LLM-Inference auf, überraschend zu sein. Zu dieser Linse greife ich als Erstes, und es lohnt sich, sie ordentlich einzubauen.
Die sanfte Version der beiden Phasen steht im Rundgang durch die Engine. Hier geht es direkt ans Warum.
Zwei Decken#
Eine GPU hat zwei getrennte Tempolimits. Wie schnell sie rechnen kann (gemessen in TFLOP/s) und wie schnell sie Daten in den Speicher und aus ihm heraus bewegen kann (gemessen in TB/s). Bei jedem Stück Arbeit stößt du zuerst an eines der beiden, und das ist dann die Grenze, die dich deckelt. Den Ausschlag gibt ein einziges Verhältnis.
Trägst du das Tempo gegen dieses Verhältnis auf, bekommst du die berühmte „Roofline“: eine ansteigende Linie (solange der Speicher begrenzt, bringt mehr Intensität mehr Tempo), die in eine Decke übergeht (sobald die Rechenleistung begrenzt, bringt mehr Intensität nichts).
Prefill lebt rechts, Decode links#
Jetzt setzt du die beiden Phasen in dieses Bild.
Prefill verarbeitet den ganzen Prompt auf einmal. Jedes geladene Gewicht wird gegen viele Tokens genutzt, bevor es weggeworfen wird, also passiert pro Byte viel Rechnerei: hohe arithmetische Intensität. Prefill sitzt auf dem flachen Teil und drückt gegen die Rechendecke. Gib ihm mehr Tokens auf einmal, und es wird effizienter.
Decode schreibt ein Token nach dem anderen. Jedes Gewicht wird geladen, genau einmal benutzt und verworfen. Das ist eine sehr niedrige arithmetische Intensität (etwa 1 FLOP/Byte in fp16), also klebt Decode am ansteigenden Teil, allein durch die Speicherbandbreite begrenzt. Die Recheneinheiten verbringen die meiste Zeit im Leerlauf und warten auf das nächste Gewicht.
„Compute ist gratis“#
Mach eine harte Zahl daraus. Bei einem typischen Decode-Schritt auf einer 5090 liegt die arithmetische Intensität bei etwa 1 FLOP/Byte, gegenüber einem Ridge Point von rund 140 bis 470 FLOP/Byte. Der Ridge Point ist einfach Spitzen-FLOP/s geteilt durch Spitzenbandbreite: Mit den 1,79 TB/s der 5090 und gemessenen 253 TFLOP/s dense fp16 (fp32-Akkumulation) bis 838 (fp16-Akkumulation) landet das bei rund 140 bis 470 FLOP/Byte. Decode sitzt mindestens zwei Größenordnungen links davon. Die Doku sagt es unverblümt: Compute ist gratis. Der Chip rechnet fast nie; er wartet fast immer auf Bytes.
Diese Bandbreitendecke übersetzt sich direkt in eine Token-Rate. Ein 8B-Modell in fp16 hat etwa 16 GB Gewichte, und die streamst du alle einmal pro Token, also deckeln dich 1,79 TB/s geteilt durch 16 GB bei knapp 110 tok/s (und bei rund 220 tok/s in int8, das die Bytes halbiert). Die Rechendecke kommt gar nicht erst ins Bild.
Das hat eine scharfe Konsequenz. Beim Single-Stream-Decode zählt nur ein Hebel: weniger Bytes bewegen, und zwar schneller. Genau deshalb hilft Quantisierung dem Decode so sehr, und deshalb bringt ihm eine ganze Liste klug klingender Optimierungen nichts. imps Notizen schließen alle drei für Decode rechnerisch aus, nicht durch Messung: Bei 2048 Tokens Kontext ist der KV-Cache eines Layers 4 MB groß und braucht 2,2 µs zum Laden, und die Score-Rechnung daneben ist ein Rundungsfehler. Ein Decode-Benchmark der drei wurde nicht aufgezeichnet.
- FP8-Scores in der Attention. Die Recheneinheiten sind ohnehin im Leerlauf, sie billiger zu machen ändert also nichts.
- Warp-Spezialisierung. Alle Warps streamen schon mit Spitzenrate aus dem Speicher; es bleibt keine Überlappung zu gewinnen.
- Schickere Speicherbefehle für den KV-Cache. Die schlichte asynchrone Kopie liegt schon nahe an der Bandbreitendecke.
Keine davon bewegt Bytes, also bewegt keine davon Decode.
Warum diese Linse zählt#
Das ist der ganze Grund, warum eine Engine, die bei Prefill schnell ist, nicht automatisch bei Decode schnell ist, und umgekehrt. Die beiden leben unter verschiedenen Decken und wollen verschiedene Kernels. Deshalb teilt sich die hart erkämpfte Kernel-Arbeit sauber entlang dieser Linie.
Und deshalb ändert Batching alles. Bedienst du viele Nutzer zugleich, teilen sich ihre Decode-Streams jedes geladene Gewicht, was Decode nach rechts in den Rechenbereich zieht, wo die brachliegende Rechenleistung endlich genutzt wird. Das ist der Trick des Rechenzentrums. Wer zu Hause allein ein Modell betreibt, hat nichts davon, und deshalb ist beim Decode der Gewichte mit Batch 1 die Bandbreite der dominante Hebel, und deshalb zählt das Speichertempo einer Karte mehr als ihre reine Rechenleistung. Das gilt speziell fürs Streamen der Gewichte; außen vor bleiben Prefill (rechengebunden) und Attention bei langem Kontext, wo der KV-Cache-Verkehr zu einem eigenen Flaschenhals wird. Die Zahlen fallen alle aus diesem einen Bild heraus.