Raphael Friedmann
← KI verstehen

Was sich das Modell merkt: das Kontextfenster

Ein LLM hat kein Gedächtnis zwischen Nachrichten: Es liest bei jeder Runde das ganze Gespräch neu, und nur begrenzt viel passt hinein. Das ist das Kontextfenster.

Viele gehen davon aus, dass sich ein Chatbot an sie erinnert wie ein Mensch: Du hast ihm vorhin etwas erzählt, also weiß er es jetzt. So läuft das aber nicht, und der tatsächliche Mechanismus erklärt erstaunlich viel Alltagsverhalten: warum er den Anfang eines langen Chats „vergisst“, warum das Einfügen eines riesigen Dokuments manchmal scheitert, warum ein neues Gespräch ein Modell repariert, das sich verheddert hat.

Hinter all dem steckt das Kontextfenster, und es lohnt sich, das richtig zu verstehen, weil sich fast alles daran, wie sich ein Chatbot anfühlt, darauf zurückführen lässt.

Das Modell hat kein Gedächtnis. Es liest einfach neu.#

Ein LLM erinnert sich nicht an deine vorherigen Nachrichten. Zwischen einer Antwort und der nächsten behält es nichts. Was tatsächlich passiert: Jedes Mal, wenn du auf Senden drückst, packt die Chat-Software das gesamte bisherige Gespräch zusammen, deine Nachrichten und seine eigenen, und gibt alles als einen langen Text wieder hinein. Das Modell liest das komplett neu, von vorn bis hinten, und setzt es fort (die Rate-das-nächste-Wort-Schleife, die du schon kennst).

Bei jeder Runde geht das ganze Gespräch wieder hinein
du: hi, ich bin RaphKI: hallo Raphdu: wie heiße ich?↑ alles zusammengepackt…LLMKI: du heißt Raph…und es antwortet durch Lesen,nicht durch Erinnern
Es „kennt“ deinen Namen, weil die Zeile, in der du ihn genannt hast, direkt in dem Text steht, den es gerade neu gelesen hat, nicht weil es eine Erinnerung gespeichert hat. Fällt diese Zeile aus dem Fenster, ist das Wissen einfach weg.

Wenn ein Chatbot sich also an deinen Namen von vorhin „erinnert“, ruft er nichts ab, er liest neu. Die Information ist da, weil sie physisch noch im eingegebenen Text steht. Diese eine Tatsache ist der Schlüssel zum Fenster: Das Modell weiß nur, was gerade im Fenster steht. Nicht, was du letzte Woche gesagt hast, nicht, was oben aus einem langen Chat herausgefallen ist. Steht es nicht im Text vor ihm, ist es für das Modell nie passiert.

Das Fenster hat eine harte Grenze#

Dieses Paket kann nicht endlos wachsen. Jedes Modell hat eine maximale Kontextgröße, die meisten Tokens, die es auf einmal aufnehmen kann. Ältere Modelle schafften ein paar Tausend; heute reicht die Spanne von Zehntausenden bis, bei den großen gehosteten Modellen, zu Hunderttausenden oder sogar über eine Million Tokens. Groß, aber immer endlich.

Wird ein Gespräch lang genug, um an diese Decke zu stoßen, muss etwas weichen, und typischerweise wird der älteste Text hinausgeschoben, um Platz zu machen, wie bei einem Förderband, von dem vorn der Anfang herunterfällt.

Langer Chat: Die ältesten Runden rutschen aus dem Fenster
das Kontextfenster (feste Größe)Runde 1entferntRunde 2Runde 3Runde 4neue RundeRunde 1 liegt jetzt außerhalb: Das Modell sieht sie nicht mehr
Ist das Fenster voll, rückt es weiter. Die frühesten Nachrichten fallen heraus und hören, soweit es das Modell betrifft, auf zu existieren. Deshalb scheint ein sehr langer Chat zu „vergessen“, wie er angefangen hat: Es kann diesen Teil buchstäblich nicht mehr sehen.

Das ist der Mechanismus hinter „Die KI hat vergessen, was wir am Anfang vereinbart haben.“ Sie hat nicht im menschlichen Sinn vergessen; der Text ist aus dem Fenster gefallen. (Manche Produkte gleichen das mit separaten Langzeit-„Memory“-Funktionen, aus, die gespeicherte Fakten still wieder einfügen, aber das ist eine Schicht obendrauf, nicht das Modell, das sich von selbst erinnert.)

Warum das so viel erklärt#

Wenn du „es weiß nur, was im Fenster steht“ im Kopf behältst, sind viele Eigenheiten von Chatbots kein Rätsel mehr:

  • Lange Chats driften ab oder vergessen. Der Anfang ist hinausgerutscht, oder es gibt inzwischen so viel Text, dass das Relevante darin begraben ist. Modelle achten in einem langen Fenster außerdem meist am besten auf den Anfang und das Ende und verlieren, was in der Mitte strandet.
  • „Neuen Chat starten“ hilft. Ein verwirrtes, überladenes Gespräch schleppt seine ganze Verwirrung in jede Runde mit, weil alles jede Runde neu gelesen wird. Ein neuer Chat ist ein leeres Fenster: unbeschriebenes Blatt, kein Ballast.
  • Ein riesiges Dokument einzufügen kann scheitern oder teuer werden. Es muss neben deiner Frage ins Fenster passen, und bei kostenpflichtigen APIs zahlst du pro Token für alles, was darin steht, bei jeder Runde.
  • Kontext wird geteilt, er ist nicht gratis. Dokument, Anweisungen, Gespräch und die gerade entstehende Antwort zehren alle vom selben festen Budget. Füllst du es mit einer riesigen eingefügten Datei, bleibt weniger Platz für eine lange Antwort.

Was du praktisch mitnimmst#

Du musst keine Tokens zählen, um das gut zu nutzen. Ein paar Gewohnheiten ergeben sich direkt daraus:

Arbeitet mit dem Fenster

  • Neuer Chat für ein neues Thema, fokussiert bleiben
  • Das Wichtige nah an deine letzte Nachricht stellen
  • Nur den relevanten Teil eines langen Dokuments einfügen
  • Eine zentrale Vorgabe wiederholen, wenn der Chat lang geworden ist

Arbeitet gegen das Fenster

  • Ein sehr langer Thread für alles
  • Annehmen, dass es sich an das Gespräch von letzter Woche erinnert
  • Ein ganzes Buch einfügen und nach Seite 1 fragen
  • Erwarten, dass Details mitten im Kontext hängen bleiben

Das Kontextfenster ist alles, was das Modell während einer Antwort sehen kann: groß, aber begrenzt, und in dem Moment leer, in dem du einen neuen Chat öffnest. Fast alles, was sich wie Gedächtnis anfühlt oder wie dessen Fehlen, hängt in Wahrheit davon ab, was gerade in diesem Fenster steht.

Wenn du die Ingenieursversion willst, warum das Fenster eine Decke hat und was es tatsächlich an Speicher kostet: Das ist der KV-Cache, der eigentliche Engpass hinter langem Kontext. Und warum ein Modell selbstsicher über Text antworten kann, der nicht in seinem Fenster steht, nämlich indem es ihn erfindet, ist eine eigene Geschichte.