# Der KV-Cache und was langen Kontext wirklich begrenzt > Die Einsteigerversion nennt ihn Kurzzeitgedächtnis. In Wirklichkeit entscheidet der KV-Cache, nicht die Gewichte, wie lang dein Kontext wird und woran dir der Speicher ausgeht. Source: https://rfriedmann.de/de/blog/kv-cache-and-long-context/ · English: https://rfriedmann.de/blog/kv-cache-and-long-context/ Published: 2026-05-19 · Track: log · Level: Advanced Die [Einsteigerversion](/de/blog/how-imp-works-model-to-token/) nennt den KV-Cache das „Kurzzeitgedächtnis“ des Modells und lässt es dabei. Die technische Realität ist schärfer: Der KV-Cache entscheidet, wie lang dein Kontext werden kann, und bei langen Unterhaltungen ist er, nicht die Gewichte des Modells, das, woran dir der Speicher ausgeht. Das lohnt sich, richtig zu verstehen. ## Was wirklich drinsteckt Jedes Mal, wenn das Modell ein Token liest, berechnet die Attention dafür einen **Key** und einen **Value**, in jedem Attention-Head, in jedem Layer. Statt all das für die ganze Historie bei jedem neuen Token neu zu berechnen, speichert das Modell es. Dieser Speicher ist der KV-Cache. Die Größe summiert sich schnell. Der gesamte Cache ist: ``` 2 (K and V) x layers x seq_len x kv_heads x head_dim x bytes_per_number x batch ``` Lass seq_len und batch weg, und du bekommst die Bytes pro Token, und das ist hier die nützliche Einheit: ``` bytes per token = 2 (K and V) x layers x kv_heads x head_dim x bytes_per_number ``` Nimm ein repräsentatives 30B-GQA-Modell: 64 Layer, 8 KV-Heads, head_dim 128. In FP16 ergibt das: ``` 2 x 64 layers x 8 kv_heads x 128 head_dim x 2 bytes = 262,144 bytes = 256 KB per token ``` Also ungefähr **256 KB pro Token** bei FP16 (ein Modell mit 60 Layern landet bei rund 240 KB). Nicht viel für ein Token. Eine Menge für hunderttausend davon. ## Warum er der Engpass bei langem Kontext ist Hier ist die entscheidende Asymmetrie. Die Gewichte des Modells sind *Fixkosten*: Sie hängen vom Modell ab, nicht davon, wie lang deine Unterhaltung ist. Der KV-Cache nicht. Er wächst geradlinig, linear, mit der Zahl der Tokens im Kontext.
Der KV-Cache wächst mit jedem Token (ein 30B-Modell)
[diagram omitted — see the page for the chart]
Die Gewichte des Modells sind Fixkosten, der KV-Cache nicht. Er wächst geradlinig mit der Kontextlänge, also werden lange Chats durch ihn begrenzt, nicht durch die Gewichte. Ihn in 4 Bit zu speichern senkt die Steigung auf ein Viertel, und das bringt ungefähr 4x den Kontext, bevor du gegen die Wand fährst.
Bei kurzem Kontext dominieren die Gewichte, und der Cache ist ein Rundungsfehler. Aber der Cache klettert weiter, und auf einer 5090 mit rund 12 GB frei, nachdem die Gewichte geladen sind, fährt dich ein FP16-Cache mit 256 KB pro Token irgendwo bei 45-50k Tokens gegen die Wand. Danach fehlt dir nicht das Modell, dir fehlt der Cache. ## Paging: nicht den schlimmsten Fall reservieren Der naive Ansatz reserviert vorab Speicher für den größtmöglichen Kontext, und das verschwendet bei kurzen Chats den größten Teil davon. imp nutzt stattdessen einen **Paged** KV-Cache, den Ansatz, den PagedAttention in vLLM eingeführt hat (Kwon et al., SOSP 2023): Der Speicher wird in kleine Blöcke zerlegt (je 16 Tokens, der vLLM-Default) und ausgegeben, während die Unterhaltung tatsächlich wächst. Ein kurzer Austausch braucht eine Handvoll; ein langer wächst auf Tausende. Weil die Blöcke referenzgezählt sind, lassen sich identische Präfixe *teilen* statt kopieren. Ein System-Prompt, der über tausend Requests gleich ist, kann in einem Satz von Blöcken liegen statt in tausend, und das macht Prefix Caching erst möglich. ## Den Cache schrumpfen Derselbe [Quantisierungstrick, der die Gewichte schrumpft](/de/blog/how-a-big-model-fits-on-one-card/), funktioniert auch beim Cache selbst. Speicher die Keys und Values in weniger Bits, und es passen weit mehr davon hinein. | KV-Präzision | Größe gegenüber FP16 | Ungefähr | |---|---|---| | FP16 | 1x | die Baseline | | FP8 | 1/2 | 2x der Kontext, rund 1 % Qualitätskosten | | NVFP4 (4 Bit) | 1/4 | 4x der Kontext, mäßige Verschlechterung | | INT4 | 1/4 | 4x, verliert aber Decode-Tempo und mehr Qualität | Die Qualitätszahlen sind keine Konstanten: Sie hängen vom Modell und von der Aufgabe ab, und die „rund 1 %“ von FP8 oder die „mäßige Verschlechterung“ von NVFP4 können bei dir besser oder schlechter ausfallen. Nimm sie als grobe Orientierung, nicht als Garantie. Bei Gemma-4 zum Beispiel hängen die FP8-Kosten davon ab, wie Keys und Values skaliert werden: siehe [Quantisierung lebt in den Skalierungsfaktoren](/de/blog/quantization-lives-in-the-scales/). NVFP4 ist der Sweet Spot auf Blackwell: ein Viertel der Größe für ungefähr den vierfachen Kontext, und weil der Chip eine 4-Bit-Konvertierung in Hardware hat, bleibt das Zurücklesen billig. Das ist der Unterschied zwischen einem Modell, das nach einem langen Dokument vergisst, und einem, das das Ganze hält. ## Die versteckte Steuer: Bandbreite Eine letzte Sache, die die Kapazitätsgeschichte übersieht. Während des Decodes liest jedes neue Token den *gesamten* KV-Cache zurück, um die Attention zu rechnen. Ein langer Kontext ist also nicht nur ein Problem der Speichergröße, sondern auch eines der [Bandbreite](/de/blog/prefill-vs-decode-roofline/): Je länger der Kontext, desto mehr Cache-Bytes werden pro Token gestreamt und desto langsamer wird jedes Token. Bei kurzem Kontext dominieren die Lesezugriffe auf die Gewichte das Bandbreitenbudget, und die Verlangsamung liegt weit unter proportional; proportional wird die Steigung erst, wenn die KV-Lesezugriffe dominieren. imp markiert diese Cache-Lesezugriffe im L2-Cache sogar als „evict first“, damit sie die Gewichte nicht verdrängen. Den Cache zu schrumpfen bringt dir also zwei Dinge auf einmal: mehr Kontext und schnellere Tokens darin.