Raphael Friedmann
← Das Log

Der KV-Cache und was langen Kontext wirklich begrenzt

Die Einsteigerversion nennt ihn Kurzzeitgedächtnis. In Wirklichkeit entscheidet der KV-Cache, nicht die Gewichte, wie lang dein Kontext wird und woran dir der Speicher ausgeht.

Die Einsteigerversion nennt den KV-Cache das „Kurzzeitgedächtnis“ des Modells und lässt es dabei. Die technische Realität ist schärfer: Der KV-Cache entscheidet, wie lang dein Kontext werden kann, und bei langen Unterhaltungen ist er, nicht die Gewichte des Modells, das, woran dir der Speicher ausgeht. Das lohnt sich, richtig zu verstehen.

Was wirklich drinsteckt#

Jedes Mal, wenn das Modell ein Token liest, berechnet die Attention dafür einen Key und einen Value, in jedem Attention-Head, in jedem Layer. Statt all das für die ganze Historie bei jedem neuen Token neu zu berechnen, speichert das Modell es. Dieser Speicher ist der KV-Cache.

Die Größe summiert sich schnell. Der gesamte Cache ist:

2 (K and V)  x  layers  x  seq_len  x  kv_heads  x  head_dim  x  bytes_per_number  x  batch

Lass seq_len und batch weg, und du bekommst die Bytes pro Token, und das ist hier die nützliche Einheit:

bytes per token  =  2 (K and V)  x  layers  x  kv_heads  x  head_dim  x  bytes_per_number

Nimm ein repräsentatives 30B-GQA-Modell: 64 Layer, 8 KV-Heads, head_dim 128. In FP16 ergibt das:

2  x  64 layers  x  8 kv_heads  x  128 head_dim  x  2 bytes  =  262,144 bytes  =  256 KB per token

Also ungefähr 256 KB pro Token bei FP16 (ein Modell mit 60 Layern landet bei rund 240 KB). Nicht viel für ein Token. Eine Menge für hunderttausend davon.

Warum er der Engpass bei langem Kontext ist#

Hier ist die entscheidende Asymmetrie. Die Gewichte des Modells sind Fixkosten: Sie hängen vom Modell ab, nicht davon, wie lang deine Unterhaltung ist. Der KV-Cache nicht. Er wächst geradlinig, linear, mit der Zahl der Tokens im Kontext.

Der KV-Cache wächst mit jedem Token (ein 30B-Modell)
048120k12k24k36k48krund 12 GB frei für KVFP16NVFP4 (4 Bit)Kontextlänge (Tokens)KV-Cache (GB)
Die Gewichte des Modells sind Fixkosten, der KV-Cache nicht. Er wächst geradlinig mit der Kontextlänge, also werden lange Chats durch ihn begrenzt, nicht durch die Gewichte. Ihn in 4 Bit zu speichern senkt die Steigung auf ein Viertel, und das bringt ungefähr 4x den Kontext, bevor du gegen die Wand fährst.

Bei kurzem Kontext dominieren die Gewichte, und der Cache ist ein Rundungsfehler. Aber der Cache klettert weiter, und auf einer 5090 mit rund 12 GB frei, nachdem die Gewichte geladen sind, fährt dich ein FP16-Cache mit 256 KB pro Token irgendwo bei 45-50k Tokens gegen die Wand. Danach fehlt dir nicht das Modell, dir fehlt der Cache.

Paging: nicht den schlimmsten Fall reservieren#

Der naive Ansatz reserviert vorab Speicher für den größtmöglichen Kontext, und das verschwendet bei kurzen Chats den größten Teil davon. imp nutzt stattdessen einen Paged KV-Cache, den Ansatz, den PagedAttention in vLLM eingeführt hat (Kwon et al., SOSP 2023): Der Speicher wird in kleine Blöcke zerlegt (je 16 Tokens, der vLLM-Default) und ausgegeben, während die Unterhaltung tatsächlich wächst. Ein kurzer Austausch braucht eine Handvoll; ein langer wächst auf Tausende.

Weil die Blöcke referenzgezählt sind, lassen sich identische Präfixe teilen statt kopieren. Ein System-Prompt, der über tausend Requests gleich ist, kann in einem Satz von Blöcken liegen statt in tausend, und das macht Prefix Caching erst möglich.

Den Cache schrumpfen#

Derselbe Quantisierungstrick, der die Gewichte schrumpft, funktioniert auch beim Cache selbst. Speicher die Keys und Values in weniger Bits, und es passen weit mehr davon hinein.

KV-Präzision Größe gegenüber FP16 Ungefähr
FP16 1x die Baseline
FP8 1/2 2x der Kontext, rund 1 % Qualitätskosten
NVFP4 (4 Bit) 1/4 4x der Kontext, mäßige Verschlechterung
INT4 1/4 4x, verliert aber Decode-Tempo und mehr Qualität

Die Qualitätszahlen sind keine Konstanten: Sie hängen vom Modell und von der Aufgabe ab, und die „rund 1 %“ von FP8 oder die „mäßige Verschlechterung“ von NVFP4 können bei dir besser oder schlechter ausfallen. Nimm sie als grobe Orientierung, nicht als Garantie. Bei Gemma-4 zum Beispiel hängen die FP8-Kosten davon ab, wie Keys und Values skaliert werden: siehe Quantisierung lebt in den Skalierungsfaktoren.

NVFP4 ist der Sweet Spot auf Blackwell: ein Viertel der Größe für ungefähr den vierfachen Kontext, und weil der Chip eine 4-Bit-Konvertierung in Hardware hat, bleibt das Zurücklesen billig. Das ist der Unterschied zwischen einem Modell, das nach einem langen Dokument vergisst, und einem, das das Ganze hält.

Die versteckte Steuer: Bandbreite#

Eine letzte Sache, die die Kapazitätsgeschichte übersieht. Während des Decodes liest jedes neue Token den gesamten KV-Cache zurück, um die Attention zu rechnen. Ein langer Kontext ist also nicht nur ein Problem der Speichergröße, sondern auch eines der Bandbreite: Je länger der Kontext, desto mehr Cache-Bytes werden pro Token gestreamt und desto langsamer wird jedes Token. Bei kurzem Kontext dominieren die Lesezugriffe auf die Gewichte das Bandbreitenbudget, und die Verlangsamung liegt weit unter proportional; proportional wird die Steigung erst, wenn die KV-Lesezugriffe dominieren. imp markiert diese Cache-Lesezugriffe im L2-Cache sogar als „evict first“, damit sie die Gewichte nicht verdrängen. Den Cache zu schrumpfen bringt dir also zwei Dinge auf einmal: mehr Kontext und schnellere Tokens darin.