Raphael Friedmann
← KI verstehen

Pretraining, Fine-Tuning und RLHF

Ein frisch trainiertes Modell kann Text fortsetzen, antwortet dir aber nicht. Die drei Stufen, die daraus einen hilfreichen Assistenten machen, und welche du brauchst.

Die Trainingsschleife erzeugt ein Modell, das eine Sache sehr gut kann: Text fortsetzen. Das ist nicht dasselbe wie hilfreich sein. Stell einem frisch trainierten Modell eine echte Frage, und du bekommst vielleicht das hier:

Du: Wie setze ich mein Passwort zurück?
Basismodell: Wie ändere ich meine E-Mail-Adresse? Wie lösche ich mein Konto?

Kaputt ist es nicht. Es hat gelernt, Text fortzusetzen, und im offenen Web folgen auf eine Frage oft weitere Fragen. Um daraus einen Assistenten zu machen, braucht es drei Stufen, jede mit einer anderen Aufgabe.

Stufe 1: Pretraining#

Das ist die Trainingsschleife aus dem letzten Beitrag, angewendet auf einen riesigen Berg allgemeiner Texte: das nächste Wort raten, über Billionen von Wörtern, bis sich Grammatik, Fakten und Denkmuster in den Gewichten festsetzen.

Ins Pretraining fließt fast die gesamte Rechenleistung und fast das ganze Geld: Tausende GPUs, Wochen bis Monate. Es ist auch die Stufe, die außerhalb einer Handvoll Labs praktisch niemand von Grund auf durchführt. Die nächsten beiden Stufen sind weit billiger, und erst dort wird aus einem Basismodell das, mit dem du tatsächlich redest.

Stufe 2: Fine-Tuning auf Anweisungen#

Jetzt zeigst du dem Modell einen viel kleineren, sorgfältig erstellten Satz Beispiele, jedes eine Anweisung mit einer guten Antwort dazu:

Anweisung: Setz mein Passwort zurück.
Gute Antwort: Klar. Geh zu Einstellungen, dann Sicherheit, und klick auf „Passwort zurücksetzen“...

Dieselbe Trainingsmechanik wie vorher (raten, messen, nachjustieren), aber jetzt lernt das Modell die Form von Hilfsbereitschaft: Wenn eine Anweisung kommt, liefere eine Antwort, keine weiteren Anweisungen.

Das Ergebnis ist ein Instruct-Modell, weshalb Modellnamen so oft auf -Instruct oder -Chat enden (das Suffix, das dir sagt, was du bekommst). Die Basisversion gibt es auch, sie ist nur selten das, was du willst.

Stufe 3: RLHF, lernen, was Menschen bevorzugen#

Anweisungen befolgen ist nicht dasselbe wie gut sein. Von zwei technisch korrekten Antworten ist eine vielleicht klarer, sicherer oder erfindet seltener selbstbewusst etwas. Die letzte Stufe optimiert genau darauf.

Menschen (und zunehmend andere Modelle, die darauf trainiert sind, Menschen nachzuahmen) bekommen Antwortpaare vorgelegt und sollen sagen, welche besser ist. Diese Präferenzen trainieren das Modell darauf, zu der Art Antwort zu tendieren, die Menschen tatsächlich wollten.

Diese Stufe verfeinert das Verhalten: die Ablehnung wirklich schädlicher Anfragen, den ruhigeren Ton, die verringerte (nie beseitigte) Neigung zu bluffen.

Die drei Stufen im Überblick#

Dieselben drei Stufen, die Balken zeigen, wie viel Daten und Kosten jede verlangt.

Drei Stufen, sinkende Kosten
nach Stufe 1 fallen die Kosten starkPretrainingFine-TuningRLHFBillionen WörterTausende Beispielemenschl. Präferenzen
Fast die gesamten Kosten stecken in der ersten Stufe; die beiden, die aus einem Basismodell einen Assistenten machen, sind vergleichsweise billig.
  1. Pretraining

    Billionen Wörter allgemeiner Text. Baut Wissen und Sprache auf. Enorme Kosten, selten gemacht. Ergebnis: ein Basismodell.

  2. Fine-Tuning

    Tausende bis Millionen Anweisung/Antwort-Beispiele. Bringt ihm bei, Anweisungen zu folgen. Moderate Kosten. Ergebnis: ein Instruct-Modell.

  3. RLHF

    Menschliche Präferenzvergleiche. Justiert Ton, Hilfsbereitschaft und Sicherheit. Der Feinschliff obendrauf.

Welche Stufe du brauchst#

Das wird relevant, sobald jemand sagt: „Lass uns ein Modell auf unseren Daten fine-tunen.“ Stufe 1 ist damit fast nie gemeint. Pretraining von Grund auf ist ein Projekt im Millionenbereich; du startest mit dem Basis- oder Instruct-Modell von jemand anderem.

Was Teams meistens brauchen

  • Stufe 2 auf einem kleinen internen Datensatz
  • Den Ton anpassen oder ein Nischenformat beibringen
  • Oft: gar kein Training, nur bessere Prompts

Was sie fast nie brauchen

  • Stufe-1-Pretraining von Grund auf
  • Ihm „Fakten beibringen“ (dafür gibt es Retrieval)
  • Ein größeres Modell, als die Aufgabe verlangt

Fine-Tuning ist das richtige Werkzeug, um zu ändern, wie ein Modell antwortet, nicht um neue Fakten hinzuzufügen; für Fakten schlägt ein Suchwerkzeug oder Dokumente zum Lesen meist jedes Nachtrainieren. Zu wissen, welche Stufe dein Problem verlangt, spart Geld und vermeidet Projekte, die ihr Ziel verfehlen, derselbe Punkt wie beim Self-Hosting eines Modells für dein Team. Wenn Stufe 2 wirklich die Antwort ist, zeigt Fine-Tuning mit LoRA, wie ein Team das auf einer GPU erledigt.

Es gibt noch einen Weg, Können weiterzugeben: Ein kleines Modell lernt aus den Antworten eines großen. Das ist Distillation.