Was ein LLM ist und wie daraus Wörter entstehen
Große Sprachmodelle ohne Fachjargon erklärt: was sie sind, warum sie im Grunde eine sehr gute Autovervollständigung sind und wie sie Wort für Wort schreiben.
Du tippst eine Frage in ChatGPT oder Claude, und eine flüssige Antwort erscheint. Dahinter steckt ein sogenanntes LLM. Dieser Beitrag erklärt, was ein LLM ist; Vorwissen ist nicht nötig.
Das ist schon alles. Es ist keine Suchmaschine und keine Datenbank voller Fakten. Es ist eine Mustermaschine für Sprache.
Der Kernmechanismus: das nächste Wort raten#
Alles, was ein LLM tut, läuft auf eine einzige, einfache Fähigkeit hinaus: zu einem Text raten, was als Nächstes kommt.
Nimm einen halbfertigen Satz. Das Modell schaut ihn an und bewertet jedes Wort, das es kennt, danach, wie wahrscheinlich es als Nächstes kommt.
Es weiß nicht, dass die Antwort „Teppich“ ist. Es schätzt, dass „Teppich“ die wahrscheinlichste Fortsetzung ist, und nimmt meistens diese. Wie die Autovervollständigung auf deinem Handy, nur trainiert auf einem großen Ausschnitt von allem, was je geschrieben wurde. Deshalb sind seine Tipps sehr gut.
Wort für Wort, in einer Schleife#
Ein Tipp liefert nur ein Wort. Für eine ganze Antwort nimmt das Modell den Text einschließlich des gerade angehängten Worts und rät erneut. Und erneut. So wächst ein Satz:
Jede Zeile ist ein Durchlauf durch den Ratemechanismus. Das neue Wort kommt dazu, alles geht wieder hinein, und das Modell sagt das nächste voraus. Diese Schleife, sehr schnell ausgeführt, ist die Antwort, die sich auf deinem Bildschirm selbst tippt. Es gibt keinen großen Plan für den Satz; er entsteht Schritt für Schritt, jeder einzelne glaubwürdig.
Unter der Haube: ein neuronales Netz#
Bisher war der Ratemechanismus eine Black Box. Dieser Abschnitt schaut hinein. Was da rät, ist ein neuronales Netz.
So sieht das aus:
Lies es von links nach rechts. Dein Text kommt als Zahlen links hinein und fließt durch Schicht um Schicht. Bei jedem Schritt summiert jede Einheit die Signale, die bei ihr ankommen, jedes vom Gewicht seiner Verbindung verstärkt oder gedämpft, und gibt das Ergebnis weiter. Rechts kommen die Scores für das nächste Wort heraus, dieselben, die du vorhin im Balkendiagramm gesehen hast.
Das „Deep“ in „Deep Learning“ heißt nur: viele übereinandergestapelte Schichten. Kleine Netze haben ein paar, die großen Sprachmodelle Dutzende bis weit über hundert. Und diese Gewichte, der Regler an jeder Verbindung, sind genau die „Milliarden Zahlen“, die ich immer wieder erwähne. Ein großes Modell kann Hunderte Milliarden davon haben. Wie diese Regler eingestellt werden, zeigt der nächste Abschnitt.
Die Regler einstellen: Training#
Niemand stellt sie von Hand ein. Ein frisches Netz startet mit zufälligen Gewichten und rät reines Kauderwelsch. Durch Training wird es gut.
Das „Wissen“ des Modells ist also keine Liste, in der es nachschlägt. Es steckt als Muster in den Verbindungsgewichten. „Paris“ folgt zuverlässig auf „die Hauptstadt von Frankreich ist“, weil diese Paarung im Training unzählige Male vorkam und die Gewichte sich darauf eingependelt haben.
Warum es manchmal Dinge erfindet#
Das erklärt auch eine häufige Beschwerde: erfundene Fakten.
Wenn die Muster eine überzeugend klingende, aber falsche Fortsetzung nahelegen, schreibt das Modell sie genauso glatt hin wie eine richtige. Es lügt nicht; es hat schlicht keinen eigenen Begriff von „wahr“. Daran solltest du jedes Mal denken, wenn eine Antwort sehr bestimmt klingt.
Ein Regler für Kreativität#
Noch eine letzte Sache, von der du vielleicht gehört hast. Wenn das Modell aus seinen sortierten Tipps auswählt, gibt es eine Einstellung, die bestimmt, wie viel Zufall es dabei nutzt. Dreh sie runter, und es nimmt fast immer den besten Tipp: vorhersehbar, wiederholbar, etwas trocken. Dreh sie hoch, und es greift manchmal zu weiter hinten platzierten Wörtern: überraschender und kreativer, aber auch eher geneigt abzuschweifen. Das ist der Regler „Temperature“, und es ist in beiden Fällen dieselbe Ratemaschine, nur kühner oder vorsichtiger bei der Frage, auf welches Wort sie sich festlegt.
Von der Idee zu etwas, das du laufen lassen kannst#
Das ist ein LLM: ein Rater für das nächste Wort, trainiert, bis seine Tipps gut sind, und in einer Schleife ausgeführt. All das Raten so schnell zu erledigen, dass es sich sofort anfühlt, erfordert ernsthafte Ingenieursarbeit, und das ist ein Thema für sich. Wenn du sehen willst, wie eine echte Engine das schafft, fang an mit wie eine Engine aus einer Modelldatei Wörter macht, dann die Geschichte über Tempo auf einer einzigen Grafikkarte.