# Wie ein Modell lernt: Training, einfach erklärt
> Jedes LLM beginnt als zufälliges Rauschen und wird von einer einzigen Schleife geformt: raten, den Fehler messen, Milliarden Regler anstupsen. Wie Training funktioniert, und warum es teuer ist.
Source: https://rfriedmann.de/de/blog/how-a-model-learns/ · English: https://rfriedmann.de/blog/how-a-model-learns/
Published: 2026-06-13 · Track: learn · Level: Beginner
In [was ein LLM ist](/de/blog/what-is-an-llm/) habe ich gesagt, dass das Wissen des
Modells beim Training „in Milliarden Verbindungsgewichte eingebacken“ wird und dass
jeder falsche Tipp „jedes Gewicht ein kleines Stück verschiebt“. Dieser Satz
beschreibt die zentrale Schleife des KI-Trainings. Diese Lektion erklärt sie ohne
höhere Mathematik.
Ein brandneues Modell ist Zufall. Bitte es, „die Hauptstadt von Frankreich ist“
fortzusetzen, und es liefert Kauderwelsch, weil seine Regler auf nichts Bestimmtes
eingestellt sind. Training ist der Weg, diese Regler zu justieren, und es ist immer
dieselbe einfache Schleife, milliardenfach ausgeführt.
## Die Trainingsschleife
Nimm einen ganz normalen Satz aus den Trainingsdaten, versteck das nächste Wort und
spiel das Ratespiel, das das Modell danach für immer spielen wird.
Raten
Zeig dem Modell ein Stück echten Text, bei dem das nächste Wort versteckt ist. Es liefert seine Scores dafür, was als Nächstes kommt, genau so wie bei der normalen Nutzung.
Den Fehler messen
Vergleiche seinen Tipp mit dem Wort, das im echten Text tatsächlich als Nächstes kam. Die Lücke zwischen „was es vorhergesagt hat“ und „der Wahrheit“ wird in eine einzige Zahl verwandelt: den Loss (Verlust). Überzeugt und richtig ergibt einen niedrigen Loss, überzeugt und falsch einen hohen.
Schuld zuweisen
Arbeite dich rückwärts durch das Netz, um für jedes einzelne Gewicht herauszufinden, in welche Richtung es sich bewegen muss, damit der Fehler kleiner wird. Das ist der entscheidende Schritt, und er hat einen Namen: Backpropagation.
Jeden Regler anstupsen
Verschieb jedes Gewicht einen winzigen Schritt in die hilfreiche Richtung. Dann schnapp dir das nächste Stück Text und mach das Ganze noch einmal, milliardenfach.
Aufgezeichnet bilden diese vier Schritte einen einzigen Kreislauf, der sich selbst
speist.
Die Trainingsschleife
[diagram omitted — see the page for the chart]Dieselbe Schleife läuft immer wieder, jedes Mal mit frischem Text, bis der Loss klein ist.
Mit Backpropagation lernt heute fast jedes Modell, sie ist aber nicht die einzige Idee:
[axo](/de/blog/axo-learning-without-backprop/) ist mein Experiment mit lokalen Regeln, ganz
ohne Backprop.
## Warum Training bergab geht
Der Teil, der am schwierigsten klingt, „herausfinden, in welche Richtung Milliarden
Regler gedreht werden müssen“, ist in Wahrheit nur ein Bergabrollen. Stell dir den
Loss als Landschaft vor: Hügel, wo das Modell falsch liegt, Täler, wo es richtig
liegt. An jedem Punkt kann dir die Mathematik sagen, welche Richtung bergab geht.
Also machst du einen kleinen Schritt in diese Richtung, landest an einer etwas
besseren Stelle und schaust erneut.
Niemand wählt die Gewichte aus. Das könnte auch niemand; es sind Hunderte
Milliarden davon. Sie werden entdeckt, ein Schritt bergab nach dem anderen, durch
einen Prozess, der immer nur fragt: „War dieser Tipp zu hoch oder zu niedrig, und
welche Richtung behebt das?“ Wiederhol das lange genug über genug Text, und
Grammatik, Fakten und Stil setzen sich von selbst in den Reglern fest. Niemand hat
„Paris folgt auf die Hauptstadt von Frankreich“ programmiert; dort hat die
Landschaft einfach ihren Tiefpunkt.
## Warum es teuer ist
Die Schleife ist einfach. Der Maßstab ist es nicht. Ein modernes Modell wird auf
grob Billionen von Wörtern trainiert, und jeder Schritt berührt jedes Gewicht.
Deshalb ist das Training der teure Teil, nicht die Nutzung.
Diese Trennung solltest du im Kopf behalten. Die riesigen Rechenrechnungen, von
denen du hörst, sind größtenteils das einmalige Training. Sind die Regler einmal
eingestellt, ist das Ausführen des Modells vergleichsweise günstig, und genau
deshalb kann ein Modell mit 30 Milliarden Parametern
[Antworten auf einer Karte liefern, die du kaufen kannst](/de/blog/serving-30b-models-rtx-5090/).
## Was am Ende herauskommt
Das Ergebnis all dessen ist ein **Base Model** (Basismodell): ein Modell, das
sehr gut darin ist, Text fortzusetzen, weil das das einzige Spiel ist, das es je
gespielt hat. Nützlich, aber noch nicht der hilfsbereite Assistent, mit dem du
redest. Tippst du eine Frage in ein rohes Base Model, setzt es vielleicht einfach
mit weiteren Fragen fort. Aus einem Textfortsetzer etwas zu machen, das dir
antwortet, braucht noch ein paar Stufen, und das ist der nächste Post:
[Pretraining, Fine-Tuning und RLHF](/de/blog/pretraining-finetuning-rlhf/).