# Was ein LLM ist und wie daraus Wörter entstehen
> Große Sprachmodelle ohne Fachjargon erklärt: was sie sind, warum sie im Grunde eine sehr gute Autovervollständigung sind und wie sie Wort für Wort schreiben.
Source: https://rfriedmann.de/de/blog/what-is-an-llm/ · English: https://rfriedmann.de/blog/what-is-an-llm/
Published: 2026-03-19 · Track: learn · Level: Beginner
Du tippst eine Frage in ChatGPT oder Claude, und eine flüssige Antwort erscheint.
Dahinter steckt ein sogenanntes **LLM**. Dieser Beitrag erklärt, was ein LLM ist;
Vorwissen ist nicht nötig.
Das ist schon alles. Es ist keine Suchmaschine und keine Datenbank voller Fakten.
Es ist eine Mustermaschine für Sprache.
## Der Kernmechanismus: das nächste Wort raten
Alles, was ein LLM tut, läuft auf eine einzige, einfache Fähigkeit hinaus: **zu einem Text raten, was als
Nächstes kommt.**
Nimm einen halbfertigen Satz. Das Modell schaut ihn an und bewertet jedes Wort,
das es kennt, danach, wie wahrscheinlich es als Nächstes kommt.
„Die Katze saß auf dem ___“ - die besten Tipps des Modells fürs nächste Wort
[diagram omitted — see the page for the chart]
Das Modell bewertet jedes mögliche nächste Wort und wählt dann eins aus. Die Zahlen sind nur zur Veranschaulichung, aber genau dieses Raten und Auswählen passiert, bei jedem einzelnen Wort.
Es *weiß* nicht, dass die Antwort „Teppich“ ist. Es schätzt, dass „Teppich“ die
wahrscheinlichste Fortsetzung ist, und nimmt meistens diese. Wie die
Autovervollständigung auf deinem Handy, nur trainiert auf einem großen Ausschnitt
von allem, was je geschrieben wurde. Deshalb sind seine Tipps sehr gut.
## Wort für Wort, in einer Schleife
Ein Tipp liefert nur ein Wort. Für eine ganze Antwort nimmt das Modell den Text
*einschließlich des gerade angehängten Worts* und rät erneut. Und erneut. So
wächst ein Satz:
Die Katze
Die Katze saß
Die Katze saß auf
Die Katze saß auf dem
Die Katze saß auf dem Teppich.
Jede Zeile ist ein Durchlauf durch den Ratemechanismus. Das neue Wort kommt dazu,
alles geht wieder hinein, und das Modell sagt das nächste voraus. Diese Schleife,
sehr schnell ausgeführt, ist die Antwort, die sich auf deinem Bildschirm selbst
tippt. Es gibt keinen großen Plan für den Satz; er entsteht Schritt für Schritt,
jeder einzelne glaubwürdig.
## Unter der Haube: ein neuronales Netz
Bisher war der Ratemechanismus eine Black Box. Dieser Abschnitt schaut hinein. Was
da rät, ist ein **neuronales Netz**.
So sieht das aus:
Ein neuronales Netz: Zahlen rein, Muster in der Mitte, Scores fürs nächste Wort raus
[diagram omitted — see the page for the chart]
Jeder Punkt ist eine einfache Einheit, jede Linie trägt ein Gewicht. Echte Modelle haben weit mehr Einheiten und Dutzende bis Hunderte Schichten, aber die Form ist genau diese.
Lies es von links nach rechts. Dein Text kommt als Zahlen links hinein und fließt
durch Schicht um Schicht. Bei jedem Schritt summiert jede Einheit die Signale, die
bei ihr ankommen, jedes vom Gewicht seiner Verbindung verstärkt oder gedämpft, und
gibt das Ergebnis weiter. Rechts kommen die Scores für das nächste Wort heraus,
dieselben, die du vorhin im Balkendiagramm gesehen hast.
Das „Deep“ in „Deep Learning“ heißt nur: *viele* übereinandergestapelte Schichten.
Kleine Netze haben ein paar, die großen Sprachmodelle Dutzende bis weit über
hundert. Und diese Gewichte, der Regler an jeder Verbindung, sind genau die
„Milliarden Zahlen“, die ich immer wieder erwähne. Ein großes Modell kann Hunderte
Milliarden davon haben. Wie diese Regler eingestellt werden, zeigt der nächste
Abschnitt.
## Die Regler einstellen: Training
Niemand stellt sie von Hand ein. Ein frisches Netz startet mit zufälligen
Gewichten und rät reines Kauderwelsch. Durch Training wird es gut.
Das „Wissen“ des Modells ist also keine Liste, in der es nachschlägt. Es steckt
als Muster in den Verbindungsgewichten. „Paris“ folgt zuverlässig auf „die
Hauptstadt von Frankreich ist“, weil diese Paarung im Training unzählige Male
vorkam und die Gewichte sich darauf eingependelt haben.
## Warum es manchmal Dinge erfindet
Das erklärt auch eine häufige Beschwerde: erfundene Fakten.
Wenn die Muster eine überzeugend klingende, aber falsche Fortsetzung nahelegen,
schreibt das Modell sie genauso glatt hin wie eine richtige. Es lügt nicht; es hat
schlicht keinen eigenen Begriff von „wahr“. Daran solltest du jedes Mal denken,
wenn eine Antwort sehr bestimmt klingt.
## Ein Regler für Kreativität
Noch eine letzte Sache, von der du vielleicht gehört hast. Wenn das Modell aus
seinen sortierten Tipps auswählt, gibt es eine Einstellung, die bestimmt, wie
viel Zufall es dabei nutzt. Dreh sie runter, und es nimmt fast immer den besten Tipp:
vorhersehbar, wiederholbar, etwas trocken. Dreh sie hoch, und es greift manchmal
zu weiter hinten platzierten Wörtern: überraschender und kreativer, aber auch
eher geneigt abzuschweifen. Das ist der Regler „Temperature“, und es ist in beiden
Fällen dieselbe Ratemaschine, nur kühner oder vorsichtiger bei der Frage, auf
welches Wort sie sich festlegt.
## Von der Idee zu etwas, das du laufen lassen kannst
Das ist ein LLM: ein Rater für das nächste Wort, trainiert, bis seine Tipps gut
sind, und in einer Schleife ausgeführt. All das Raten so schnell zu erledigen,
dass es sich sofort anfühlt, erfordert ernsthafte Ingenieursarbeit, und das ist
ein Thema für sich. Wenn du sehen willst, wie eine echte Engine
das schafft, fang an mit
[wie eine Engine aus einer Modelldatei Wörter macht](/de/blog/how-imp-works-model-to-token/),
dann die [Geschichte über Tempo auf einer einzigen Grafikkarte](/de/blog/serving-30b-models-rtx-5090/).