# Pretraining, Fine-Tuning und RLHF
> Ein frisch trainiertes Modell kann Text fortsetzen, antwortet dir aber nicht. Die drei Stufen, die daraus einen hilfreichen Assistenten machen, und welche du brauchst.
Source: https://rfriedmann.de/de/blog/pretraining-finetuning-rlhf/ · English: https://rfriedmann.de/blog/pretraining-finetuning-rlhf/
Published: 2026-06-14 · Track: learn · Level: Advanced
Die [Trainingsschleife](/de/blog/how-a-model-learns/) erzeugt ein Modell, das eine Sache
sehr gut kann: Text fortsetzen. Das ist nicht dasselbe wie hilfreich sein. Stell
einem frisch trainierten Modell eine echte Frage, und du bekommst vielleicht das hier:
Du: Wie setze ich mein Passwort zurück?
Basismodell: Wie ändere ich meine E-Mail-Adresse? Wie lösche ich mein Konto?
Kaputt ist es nicht. Es hat gelernt, Text *fortzusetzen*, und im offenen Web folgen
auf eine Frage oft weitere Fragen. Um daraus einen Assistenten zu machen, braucht es
drei Stufen, jede mit einer anderen Aufgabe.
## Stufe 1: Pretraining
Das ist die [Trainingsschleife](/de/blog/how-a-model-learns/) aus dem letzten Beitrag,
angewendet auf einen riesigen Berg allgemeiner Texte: das nächste Wort raten, über
Billionen von Wörtern, bis sich Grammatik, Fakten und Denkmuster in den Gewichten
festsetzen.
Ins Pretraining fließt fast die gesamte Rechenleistung und fast das ganze Geld:
Tausende GPUs, Wochen bis Monate. Es ist auch die Stufe, die außerhalb einer Handvoll
Labs praktisch niemand von Grund auf durchführt. Die nächsten beiden Stufen sind weit
billiger, und erst dort wird aus einem Basismodell das, mit dem du tatsächlich redest.
## Stufe 2: Fine-Tuning auf Anweisungen
Jetzt zeigst du dem Modell einen viel kleineren, sorgfältig erstellten Satz Beispiele,
jedes eine Anweisung mit einer guten Antwort dazu:
Anweisung: Setz mein Passwort zurück.
Gute Antwort: Klar. Geh zu Einstellungen, dann Sicherheit, und klick auf „Passwort zurücksetzen“...
Dieselbe Trainingsmechanik wie vorher (raten, messen, nachjustieren), aber jetzt lernt
das Modell die *Form* von Hilfsbereitschaft: Wenn eine Anweisung kommt, liefere eine
Antwort, keine weiteren Anweisungen.
Das Ergebnis ist ein **Instruct**-Modell, weshalb Modellnamen so oft auf `-Instruct`
oder `-Chat` enden ([das Suffix, das dir sagt, was du bekommst](/de/blog/reading-model-specs/)).
Die Basisversion gibt es auch, sie ist nur selten das, was du willst.
## Stufe 3: RLHF, lernen, was Menschen bevorzugen
Anweisungen befolgen ist nicht dasselbe wie *gut* sein. Von zwei technisch korrekten
Antworten ist eine vielleicht klarer, sicherer oder erfindet seltener selbstbewusst
etwas. Die letzte Stufe optimiert genau darauf.
Menschen (und zunehmend andere Modelle, die darauf trainiert sind, Menschen
nachzuahmen) bekommen Antwortpaare vorgelegt und sollen sagen, welche besser ist.
Diese Präferenzen trainieren das Modell darauf, zu der Art Antwort zu tendieren, die
Menschen tatsächlich wollten.
Diese Stufe verfeinert das Verhalten: die Ablehnung wirklich schädlicher Anfragen,
den ruhigeren Ton, die verringerte (nie beseitigte) Neigung zu bluffen.
## Die drei Stufen im Überblick
Dieselben drei Stufen, die Balken zeigen, wie viel Daten und Kosten jede verlangt.
Drei Stufen, sinkende Kosten
[diagram omitted — see the page for the chart]Fast die gesamten Kosten stecken in der ersten Stufe; die beiden, die aus einem Basismodell einen Assistenten machen, sind vergleichsweise billig.
Pretraining
Billionen Wörter allgemeiner Text. Baut Wissen und Sprache auf. Enorme Kosten, selten gemacht. Ergebnis: ein Basismodell.
Fine-Tuning
Tausende bis Millionen Anweisung/Antwort-Beispiele. Bringt ihm bei, Anweisungen zu folgen. Moderate Kosten. Ergebnis: ein Instruct-Modell.
RLHF
Menschliche Präferenzvergleiche. Justiert Ton, Hilfsbereitschaft und Sicherheit. Der Feinschliff obendrauf.
## Welche Stufe du brauchst
Das wird relevant, sobald jemand sagt: „Lass uns ein Modell auf unseren Daten
fine-tunen.“ Stufe 1 ist damit fast nie gemeint. Pretraining von Grund auf ist ein
Projekt im Millionenbereich; du startest mit dem Basis- oder Instruct-Modell von
jemand anderem.
Was Teams meistens brauchen
Stufe 2 auf einem kleinen internen Datensatz
Den Ton anpassen oder ein Nischenformat beibringen
Fine-Tuning ist das richtige Werkzeug, um zu ändern, *wie* ein Modell antwortet, nicht
um neue Fakten hinzuzufügen; für Fakten schlägt ein Suchwerkzeug oder Dokumente zum
Lesen meist jedes Nachtrainieren. Zu wissen, welche Stufe dein Problem verlangt, spart
Geld und vermeidet Projekte, die ihr Ziel verfehlen, derselbe Punkt wie beim
[Self-Hosting eines Modells für dein Team](/de/blog/self-hosting-an-llm-for-your-team/).
Wenn Stufe 2 wirklich die Antwort ist, zeigt [Fine-Tuning mit LoRA](/de/blog/fine-tuning-with-lora/),
wie ein Team das auf einer GPU erledigt.
Es gibt noch einen Weg, Können weiterzugeben: Ein kleines Modell lernt aus den Antworten
eines großen. Das ist [Distillation](/de/blog/how-small-models-learn-from-big-ones/).