Was sich das Modell merkt: das Kontextfenster
Ein LLM hat kein Gedächtnis zwischen Nachrichten: Es liest bei jeder Runde das ganze Gespräch neu, und nur begrenzt viel passt hinein. Das ist das Kontextfenster.
Viele gehen davon aus, dass sich ein Chatbot an sie erinnert wie ein Mensch: Du hast ihm vorhin etwas erzählt, also weiß er es jetzt. So läuft das aber nicht, und der tatsächliche Mechanismus erklärt erstaunlich viel Alltagsverhalten: warum er den Anfang eines langen Chats „vergisst“, warum das Einfügen eines riesigen Dokuments manchmal scheitert, warum ein neues Gespräch ein Modell repariert, das sich verheddert hat.
Hinter all dem steckt das Kontextfenster, und es lohnt sich, das richtig zu verstehen, weil sich fast alles daran, wie sich ein Chatbot anfühlt, darauf zurückführen lässt.
Das Modell hat kein Gedächtnis. Es liest einfach neu.#
Ein LLM erinnert sich nicht an deine vorherigen Nachrichten. Zwischen einer Antwort und der nächsten behält es nichts. Was tatsächlich passiert: Jedes Mal, wenn du auf Senden drückst, packt die Chat-Software das gesamte bisherige Gespräch zusammen, deine Nachrichten und seine eigenen, und gibt alles als einen langen Text wieder hinein. Das Modell liest das komplett neu, von vorn bis hinten, und setzt es fort (die Rate-das-nächste-Wort-Schleife, die du schon kennst).
Wenn ein Chatbot sich also an deinen Namen von vorhin „erinnert“, ruft er nichts ab, er liest neu. Die Information ist da, weil sie physisch noch im eingegebenen Text steht. Diese eine Tatsache ist der Schlüssel zum Fenster: Das Modell weiß nur, was gerade im Fenster steht. Nicht, was du letzte Woche gesagt hast, nicht, was oben aus einem langen Chat herausgefallen ist. Steht es nicht im Text vor ihm, ist es für das Modell nie passiert.
Das Fenster hat eine harte Grenze#
Dieses Paket kann nicht endlos wachsen. Jedes Modell hat eine maximale Kontextgröße, die meisten Tokens, die es auf einmal aufnehmen kann. Ältere Modelle schafften ein paar Tausend; heute reicht die Spanne von Zehntausenden bis, bei den großen gehosteten Modellen, zu Hunderttausenden oder sogar über eine Million Tokens. Groß, aber immer endlich.
Wird ein Gespräch lang genug, um an diese Decke zu stoßen, muss etwas weichen, und typischerweise wird der älteste Text hinausgeschoben, um Platz zu machen, wie bei einem Förderband, von dem vorn der Anfang herunterfällt.
Das ist der Mechanismus hinter „Die KI hat vergessen, was wir am Anfang vereinbart haben.“ Sie hat nicht im menschlichen Sinn vergessen; der Text ist aus dem Fenster gefallen. (Manche Produkte gleichen das mit separaten Langzeit-„Memory“-Funktionen, aus, die gespeicherte Fakten still wieder einfügen, aber das ist eine Schicht obendrauf, nicht das Modell, das sich von selbst erinnert.)
Warum das so viel erklärt#
Wenn du „es weiß nur, was im Fenster steht“ im Kopf behältst, sind viele Eigenheiten von Chatbots kein Rätsel mehr:
- Lange Chats driften ab oder vergessen. Der Anfang ist hinausgerutscht, oder es gibt inzwischen so viel Text, dass das Relevante darin begraben ist. Modelle achten in einem langen Fenster außerdem meist am besten auf den Anfang und das Ende und verlieren, was in der Mitte strandet.
- „Neuen Chat starten“ hilft. Ein verwirrtes, überladenes Gespräch schleppt seine ganze Verwirrung in jede Runde mit, weil alles jede Runde neu gelesen wird. Ein neuer Chat ist ein leeres Fenster: unbeschriebenes Blatt, kein Ballast.
- Ein riesiges Dokument einzufügen kann scheitern oder teuer werden. Es muss neben deiner Frage ins Fenster passen, und bei kostenpflichtigen APIs zahlst du pro Token für alles, was darin steht, bei jeder Runde.
- Kontext wird geteilt, er ist nicht gratis. Dokument, Anweisungen, Gespräch und die gerade entstehende Antwort zehren alle vom selben festen Budget. Füllst du es mit einer riesigen eingefügten Datei, bleibt weniger Platz für eine lange Antwort.
Was du praktisch mitnimmst#
Du musst keine Tokens zählen, um das gut zu nutzen. Ein paar Gewohnheiten ergeben sich direkt daraus:
Arbeitet mit dem Fenster
- Neuer Chat für ein neues Thema, fokussiert bleiben
- Das Wichtige nah an deine letzte Nachricht stellen
- Nur den relevanten Teil eines langen Dokuments einfügen
- Eine zentrale Vorgabe wiederholen, wenn der Chat lang geworden ist
Arbeitet gegen das Fenster
- Ein sehr langer Thread für alles
- Annehmen, dass es sich an das Gespräch von letzter Woche erinnert
- Ein ganzes Buch einfügen und nach Seite 1 fragen
- Erwarten, dass Details mitten im Kontext hängen bleiben
Das Kontextfenster ist alles, was das Modell während einer Antwort sehen kann: groß, aber begrenzt, und in dem Moment leer, in dem du einen neuen Chat öffnest. Fast alles, was sich wie Gedächtnis anfühlt oder wie dessen Fehlen, hängt in Wahrheit davon ab, was gerade in diesem Fenster steht.
Wenn du die Ingenieursversion willst, warum das Fenster eine Decke hat und was es tatsächlich an Speicher kostet: Das ist der KV-Cache, der eigentliche Engpass hinter langem Kontext. Und warum ein Modell selbstsicher über Text antworten kann, der nicht in seinem Fenster steht, nämlich indem es ihn erfindet, ist eine eigene Geschichte.