# Pretraining, Fine-Tuning und RLHF > Ein frisch trainiertes Modell kann Text fortsetzen, antwortet dir aber nicht. Die drei Stufen, die daraus einen hilfreichen Assistenten machen, und welche du brauchst. Source: https://rfriedmann.de/de/blog/pretraining-finetuning-rlhf/ · English: https://rfriedmann.de/blog/pretraining-finetuning-rlhf/ Published: 2026-06-14 · Track: learn · Level: Advanced Die [Trainingsschleife](/de/blog/how-a-model-learns/) erzeugt ein Modell, das eine Sache sehr gut kann: Text fortsetzen. Das ist nicht dasselbe wie hilfreich sein. Stell einem frisch trainierten Modell eine echte Frage, und du bekommst vielleicht das hier:
Du: Wie setze ich mein Passwort zurück?
Basismodell: Wie ändere ich meine E-Mail-Adresse? Wie lösche ich mein Konto?
Kaputt ist es nicht. Es hat gelernt, Text *fortzusetzen*, und im offenen Web folgen auf eine Frage oft weitere Fragen. Um daraus einen Assistenten zu machen, braucht es drei Stufen, jede mit einer anderen Aufgabe. ## Stufe 1: Pretraining Das ist die [Trainingsschleife](/de/blog/how-a-model-learns/) aus dem letzten Beitrag, angewendet auf einen riesigen Berg allgemeiner Texte: das nächste Wort raten, über Billionen von Wörtern, bis sich Grammatik, Fakten und Denkmuster in den Gewichten festsetzen. Ins Pretraining fließt fast die gesamte Rechenleistung und fast das ganze Geld: Tausende GPUs, Wochen bis Monate. Es ist auch die Stufe, die außerhalb einer Handvoll Labs praktisch niemand von Grund auf durchführt. Die nächsten beiden Stufen sind weit billiger, und erst dort wird aus einem Basismodell das, mit dem du tatsächlich redest. ## Stufe 2: Fine-Tuning auf Anweisungen Jetzt zeigst du dem Modell einen viel kleineren, sorgfältig erstellten Satz Beispiele, jedes eine Anweisung mit einer guten Antwort dazu:
Anweisung: Setz mein Passwort zurück.
Gute Antwort: Klar. Geh zu Einstellungen, dann Sicherheit, und klick auf „Passwort zurücksetzen“...
Dieselbe Trainingsmechanik wie vorher (raten, messen, nachjustieren), aber jetzt lernt das Modell die *Form* von Hilfsbereitschaft: Wenn eine Anweisung kommt, liefere eine Antwort, keine weiteren Anweisungen. Das Ergebnis ist ein **Instruct**-Modell, weshalb Modellnamen so oft auf `-Instruct` oder `-Chat` enden ([das Suffix, das dir sagt, was du bekommst](/de/blog/reading-model-specs/)). Die Basisversion gibt es auch, sie ist nur selten das, was du willst. ## Stufe 3: RLHF, lernen, was Menschen bevorzugen Anweisungen befolgen ist nicht dasselbe wie *gut* sein. Von zwei technisch korrekten Antworten ist eine vielleicht klarer, sicherer oder erfindet seltener selbstbewusst etwas. Die letzte Stufe optimiert genau darauf. Menschen (und zunehmend andere Modelle, die darauf trainiert sind, Menschen nachzuahmen) bekommen Antwortpaare vorgelegt und sollen sagen, welche besser ist. Diese Präferenzen trainieren das Modell darauf, zu der Art Antwort zu tendieren, die Menschen tatsächlich wollten. Diese Stufe verfeinert das Verhalten: die Ablehnung wirklich schädlicher Anfragen, den ruhigeren Ton, die verringerte (nie beseitigte) Neigung zu bluffen. ## Die drei Stufen im Überblick Dieselben drei Stufen, die Balken zeigen, wie viel Daten und Kosten jede verlangt.
Drei Stufen, sinkende Kosten
[diagram omitted — see the page for the chart]
Fast die gesamten Kosten stecken in der ersten Stufe; die beiden, die aus einem Basismodell einen Assistenten machen, sind vergleichsweise billig.
  1. Pretraining

    Billionen Wörter allgemeiner Text. Baut Wissen und Sprache auf. Enorme Kosten, selten gemacht. Ergebnis: ein Basismodell.

  2. Fine-Tuning

    Tausende bis Millionen Anweisung/Antwort-Beispiele. Bringt ihm bei, Anweisungen zu folgen. Moderate Kosten. Ergebnis: ein Instruct-Modell.

  3. RLHF

    Menschliche Präferenzvergleiche. Justiert Ton, Hilfsbereitschaft und Sicherheit. Der Feinschliff obendrauf.

## Welche Stufe du brauchst Das wird relevant, sobald jemand sagt: „Lass uns ein Modell auf unseren Daten fine-tunen.“ Stufe 1 ist damit fast nie gemeint. Pretraining von Grund auf ist ein Projekt im Millionenbereich; du startest mit dem Basis- oder Instruct-Modell von jemand anderem.

Was Teams meistens brauchen

Was sie fast nie brauchen

Fine-Tuning ist das richtige Werkzeug, um zu ändern, *wie* ein Modell antwortet, nicht um neue Fakten hinzuzufügen; für Fakten schlägt ein Suchwerkzeug oder Dokumente zum Lesen meist jedes Nachtrainieren. Zu wissen, welche Stufe dein Problem verlangt, spart Geld und vermeidet Projekte, die ihr Ziel verfehlen, derselbe Punkt wie beim [Self-Hosting eines Modells für dein Team](/de/blog/self-hosting-an-llm-for-your-team/). Wenn Stufe 2 wirklich die Antwort ist, zeigt [Fine-Tuning mit LoRA](/de/blog/fine-tuning-with-lora/), wie ein Team das auf einer GPU erledigt. Es gibt noch einen Weg, Können weiterzugeben: Ein kleines Modell lernt aus den Antworten eines großen. Das ist [Distillation](/de/blog/how-small-models-learn-from-big-ones/).