Wie ein Modell lernt: Training, einfach erklärt
Jedes LLM beginnt als zufälliges Rauschen und wird von einer einzigen Schleife geformt: raten, den Fehler messen, Milliarden Regler anstupsen. Wie Training funktioniert, und warum es teuer ist.
In was ein LLM ist habe ich gesagt, dass das Wissen des Modells beim Training „in Milliarden Verbindungsgewichte eingebacken“ wird und dass jeder falsche Tipp „jedes Gewicht ein kleines Stück verschiebt“. Dieser Satz beschreibt die zentrale Schleife des KI-Trainings. Diese Lektion erklärt sie ohne höhere Mathematik.
Ein brandneues Modell ist Zufall. Bitte es, „die Hauptstadt von Frankreich ist“ fortzusetzen, und es liefert Kauderwelsch, weil seine Regler auf nichts Bestimmtes eingestellt sind. Training ist der Weg, diese Regler zu justieren, und es ist immer dieselbe einfache Schleife, milliardenfach ausgeführt.
Die Trainingsschleife#
Nimm einen ganz normalen Satz aus den Trainingsdaten, versteck das nächste Wort und spiel das Ratespiel, das das Modell danach für immer spielen wird.
Raten
Zeig dem Modell ein Stück echten Text, bei dem das nächste Wort versteckt ist. Es liefert seine Scores dafür, was als Nächstes kommt, genau so wie bei der normalen Nutzung.
Den Fehler messen
Vergleiche seinen Tipp mit dem Wort, das im echten Text tatsächlich als Nächstes kam. Die Lücke zwischen „was es vorhergesagt hat“ und „der Wahrheit“ wird in eine einzige Zahl verwandelt: den Loss (Verlust). Überzeugt und richtig ergibt einen niedrigen Loss, überzeugt und falsch einen hohen.
Schuld zuweisen
Arbeite dich rückwärts durch das Netz, um für jedes einzelne Gewicht herauszufinden, in welche Richtung es sich bewegen muss, damit der Fehler kleiner wird. Das ist der entscheidende Schritt, und er hat einen Namen: Backpropagation.
Jeden Regler anstupsen
Verschieb jedes Gewicht einen winzigen Schritt in die hilfreiche Richtung. Dann schnapp dir das nächste Stück Text und mach das Ganze noch einmal, milliardenfach.
Aufgezeichnet bilden diese vier Schritte einen einzigen Kreislauf, der sich selbst speist.
Mit Backpropagation lernt heute fast jedes Modell, sie ist aber nicht die einzige Idee: axo ist mein Experiment mit lokalen Regeln, ganz ohne Backprop.
Warum Training bergab geht#
Der Teil, der am schwierigsten klingt, „herausfinden, in welche Richtung Milliarden Regler gedreht werden müssen“, ist in Wahrheit nur ein Bergabrollen. Stell dir den Loss als Landschaft vor: Hügel, wo das Modell falsch liegt, Täler, wo es richtig liegt. An jedem Punkt kann dir die Mathematik sagen, welche Richtung bergab geht. Also machst du einen kleinen Schritt in diese Richtung, landest an einer etwas besseren Stelle und schaust erneut.
Niemand wählt die Gewichte aus. Das könnte auch niemand; es sind Hunderte Milliarden davon. Sie werden entdeckt, ein Schritt bergab nach dem anderen, durch einen Prozess, der immer nur fragt: „War dieser Tipp zu hoch oder zu niedrig, und welche Richtung behebt das?“ Wiederhol das lange genug über genug Text, und Grammatik, Fakten und Stil setzen sich von selbst in den Reglern fest. Niemand hat „Paris folgt auf die Hauptstadt von Frankreich“ programmiert; dort hat die Landschaft einfach ihren Tiefpunkt.
Warum es teuer ist#
Die Schleife ist einfach. Der Maßstab ist es nicht. Ein modernes Modell wird auf grob Billionen von Wörtern trainiert, und jeder Schritt berührt jedes Gewicht. Deshalb ist das Training der teure Teil, nicht die Nutzung.
Training (einmal)
- Billionen Wörter, wiederholt gesehen
- Tausende GPUs über Wochen oder Monate
- Kostet Millionen; wird eine Handvoll Male gemacht
Nutzung (jeden Tag)
- Führt die fertigen Gewichte nur vorwärts aus
- Passt auf eine einzelne Karte
- Günstig, und genau der Teil, den Engines wie imp optimieren
Diese Trennung solltest du im Kopf behalten. Die riesigen Rechenrechnungen, von denen du hörst, sind größtenteils das einmalige Training. Sind die Regler einmal eingestellt, ist das Ausführen des Modells vergleichsweise günstig, und genau deshalb kann ein Modell mit 30 Milliarden Parametern Antworten auf einer Karte liefern, die du kaufen kannst.
Was am Ende herauskommt#
Das Ergebnis all dessen ist ein Base Model (Basismodell): ein Modell, das sehr gut darin ist, Text fortzusetzen, weil das das einzige Spiel ist, das es je gespielt hat. Nützlich, aber noch nicht der hilfsbereite Assistent, mit dem du redest. Tippst du eine Frage in ein rohes Base Model, setzt es vielleicht einfach mit weiteren Fragen fort. Aus einem Textfortsetzer etwas zu machen, das dir antwortet, braucht noch ein paar Stufen, und das ist der nächste Post: Pretraining, Fine-Tuning und RLHF.