# Fine-Tuning auf eigenen Daten, mit LoRA > Fine-Tuning ist das falsche Werkzeug für Fakten und das richtige für Stil, Format und enge Aufgaben. Wann es sich lohnt, wie LoRA es auf eine GPU bringt und welche Daten und Prüfungen du brauchst. Source: https://rfriedmann.de/de/blog/fine-tuning-with-lora/ · English: https://rfriedmann.de/blog/fine-tuning-with-lora/ Published: 2026-11-08 · Track: learn · Level: Ops Die [Lektion über deine eigenen Dokumente](/de/blog/your-own-documents/) endete mit einem klaren „Nein“: Trainiere ein Modell nicht auf deine Fakten, hol sie per Retrieval. Dieser Rat gilt weiter. Aber „nie fine-tunen“ ist auch nicht die Lehre. Es gibt eine Klasse von Problemen, bei denen Training wirklich der richtige Schritt ist, und dafür braucht es keinen Cluster mehr: Das QLoRA-Paper hat sein zweitbestes Chat-Modell in unter 12 Stunden auf einer einzelnen Consumer-GPU trainiert. In dieser Lektion geht es darum, diese Klasse zu erkennen und zu messen, ob das Training gewirkt hat. ## Was Fine-Tuning ändert und was nicht Fast alles, was ein Modell weiß, lernt es im [Pretraining](/de/blog/pretraining-finetuning-rlhf/). Das LIMA-Paper (Zhou et al., 2023) hat das deutlich gezeigt: Ein 65B-Modell, das auf nur 1.000 sorgfältig ausgewählten Beispielen nachtrainiert wurde, antwortete danach wie ein ausgereifter Assistent. Die Lesart der Autoren: Das Wissen kommt aus dem Pretraining, das Tuning bringt vor allem bei, *welches Format und welchen Stil* das Modell nutzen soll. Genau diese Linie zählt im Betrieb. Fine-Tuning ist gut im *Wie*, schwach im *Was*.

Fine-tunen für

Nicht fine-tunen für

Die letzte Zeile links verdient ein Wort. Ein kleines Modell, das auf die Antworten eines großen trainiert wird, nur für eine Aufgabe, ist der günstigste ernsthafte Einsatz von Fine-Tuning, und es ist [Distillation](/de/blog/how-small-models-learn-from-big-ones/) in der Praxis: Tickets klassifizieren, Felder aus Rechnungen ziehen, Logzeilen zusammenfassen. Ein 4B-Modell, das eine Sache gut kann, läuft auf Hardware, auf der ein 70B-Modell nie laufen wird. Ist das große Modell eine kommerzielle API, prüf vorher die Nutzungsbedingungen: Manche verbieten, mit seinen Ausgaben konkurrierende Modelle zu trainieren. ## Die Leiter: nur hochsteigen, wenn die Stufe darunter versagt 1. **Prompt.** Schreib die Anweisungen und drei gute Beispiele in den Prompt ([wie man promptet](/de/blog/how-to-prompt/)). Kostet Minuten. Reicht oft schon aus. 2. **Abrufen.** Fehlt dem Modell *Information*, gib ihm den Text zur Fragezeit. 3. **Erzwingen.** Ist das Problem ein striktes Format wie JSON, kann der Server gültige Ausgabe beim Generieren erzwingen ([Constrained Decoding](/de/blog/constrained-decoding-valid-json/)), ganz ohne Training. 4. **Fine-tunen.** Erst wenn das Modell die Information und die Formatregeln hat und sich trotzdem über Hunderte Fälle hinweg nicht so verhält, wie du es brauchst. Jede Stufe nach oben kostet mehr beim Bauen und mehr im Unterhalt. Ein getuntes Modell ist ein neues Artefakt: Es braucht Versionierung, neue Tests, wenn sich das Basismodell ändert, und jemanden, der noch weiß, wie es entstanden ist. ## LoRA: einen kleinen Aufsatz trainieren, nicht das Modell Alle Gewichte eines Modells zu trainieren ist vor allem wegen des Speichers teuer. Mit dem üblichen Adam-Optimizer in Mixed Precision kostet jeder Parameter beim Training etwa 16 Bytes: Gewichte, Gradienten und Optimizer-Zustand (die Rechnung aus dem ZeRO-Paper). Für ein 8B-Modell ergibt das geschätzt 8 Milliarden x 16 Bytes = 128 GB, vor den Aktivierungen. Kein Job für eine GPU.
Eine Gewichtsmatrix mit LoRA-Adapter (Rang 16)
[diagram omitted — see the page for the chart]
Jede Eingabe läuft wie vorher durch die eingefrorene Matrix, dazu durch einen schmalen Umweg über A und B. Das Training berührt nur den Umweg. Danach lässt sich A x B einmal in W einrechnen, und das getunte Modell läuft genauso schnell wie das Original.
Die Zahlen aus dem Originalpaper (Hu et al., 2021): Bei GPT-3 175B senkte LoRA die trainierbaren Parameter um das 10.000-Fache und den Trainingsspeicher um bis zum 3-Fachen, bei einer Qualität auf dem Niveau von vollem Fine-Tuning in ihren Tests. Weil sich die Korrektur in die Gewichte einrechnen lässt, kostet sie bei der Inferenz keine zusätzliche Latenz. **QLoRA** (Dettmers et al., 2023) ging noch einen Schritt weiter: das eingefrorene Basismodell in 4 Bit speichern und die Adapter darauf trainieren. Das Paper hat ein 65B-Modell auf einer einzelnen GPU mit 48 GB fine-getunt, wo volles 16-Bit-Fine-Tuning mehr als 780 GB brauchte. Das heißt für ein typisches 8B-Modell (32 Schichten, Breite 4.096, MLP-Breite 14.336), LoRA mit Rang 16 auf allen sieben Gewichtsmatrizen pro Schicht. Das sind Schätzungen, gerechnet, nicht gemessen: | Posten | Rechnung | Schätzung | |---|---|---| | Adaptergröße | 1.310.720 pro Schicht x 32 Schichten | 42 Mio. Parameter, 0,5 % von 8B | | Adapterdatei | 42 Mio. x 2 Bytes | 84 MB | | Eingefrorene Basis in 4 Bit | 8 Mrd. x 0,5 Bytes | 4 GB | | Trainingszustand des Adapters | 42 Mio. x 16 Bytes | 0,7 GB | | Volles Fine-Tuning, zum Vergleich | 8 Mrd. x 16 Bytes | 128 GB | Dazu kommen die Aktivierungen, die mit Batchgröße und Sequenzlänge wachsen, also plane Luft ein. Trotzdem: Ein Job, der beim vollen Fine-Tuning ein Rack braucht, passt mit QLoRA auf eine einzelne Consumer-Karte. ## Die Daten sind das Projekt Wie bei RAG ist der Modellteil der leichte Teil. Die Arbeit steckt in den Beispielen. - **Qualität vor Menge.** Hunderte bis einige Tausend Beispiele sind für eine enge Aufgabe ein üblicher Rahmen. LIMA kam mit 1.000 aus. Jedes schlechte Beispiel bringt das schlechte Verhalten mit bei, also schlägt eine sorgfältige Person, die 500 Beispiele prüft, 50.000 zusammengekratzte. - **Zeig die echte Eingabe.** Nimm die unordentlichen Tickets, die echten Rechnungen, die tatsächlichen Logzeilen, keine sauberen Beispiele, die extra dafür geschrieben wurden. - **Halte ein Testset zurück.** Leg vor dem Training 10 bis 20 % beiseite und trainiere nie darauf. - **Achte darauf, was drinsteckt.** Trainingsdaten mit Namen, Kundendaten oder Personalinhalten landen fest im Adapter. Behandle den Adapter wie die Daten, aus denen er gelernt hat, und lies vorher [die Lektion zum Datenschutz](/de/blog/ai-and-the-law-gdpr-ai-act/). ## Vorher und nachher messen Ein Fine-Tune, das sich „besser anfühlt“, ist kein Ergebnis. Lass Basismodell und getuntes Modell auf demselben zurückgehaltenen Testset mit derselben Bewertung laufen, wie beim [Testen eines Modells an deiner eigenen Arbeit](/de/blog/testing-a-model-on-your-own-work/). Prüf zwei Dinge: Ist die Zielaufgabe besser geworden, und ist irgendetwas anderes schlechter geworden? Enges Training kann ein Modell bei allem, was du nicht trainiert hast, spürbar verschlechtern, also gehören ein paar allgemeine Fragen als Frühwarnsystem ins Testset. ## Lizenz und Betrieb Der Adapter ist nur ein halbes Modell. Er läuft auf genau einem Basismodell und erbt dessen Lizenz: Was die Basislizenz zu kommerzieller Nutzung, Namensgebung oder Namensnennung sagt, gilt auch für deine getunte Version. Prüf das, bevor du anfängst, wie in [Offene Gewichte und Lizenzen](/de/blog/open-weights-and-licenses/). Für den Betrieb gibt es zwei Wege. Den Adapter in die Gewichte einrechnen und ein ganz normales Modell ausliefern. Oder Basis und Adapter getrennt halten: Server wie vLLM und llama.cpp können LoRA-Adapter auf ein Basismodell laden, sodass eine GPU mehrere getunte Varianten bedienen kann, eine pro Aufgabe, zum Speicherpreis einer Basis plus einiger kleiner Dateien. ## Empfehlung Fine-tune zuletzt, nicht zuerst. Steig die Leiter hoch: Prompt, Abrufen, Erzwingen und erst dann Training. Wenn du trainierst, nimm LoRA oder QLoRA auf einem offenen Modell, steck die Mühe in ein paar Hundert hervorragende Beispiele und miss gegen das Basismodell auf einem Testset, auf dem du nie trainiert hast. So gemacht ist Fine-Tuning eine überschaubare, wiederholbare Ingenieursaufgabe. Als „lass es uns auf unserem Wiki trainieren“ gemacht, ist es teuer und liefert ein Modell, das falsche Fakten selbstbewusst vorträgt, in deinem Hausstil.