# Wie ein kleines Modell von einem großen lernt
> Viele der kleinen offenen Modelle, die du zu Hause laufen lassen kannst, wurden von einem größeren Modell unterrichtet, nicht nur vom Internet. Was Destillation ist, warum sie so gut funktioniert und was sie nicht weitergeben kann.
Source: https://rfriedmann.de/de/blog/how-small-models-learn-from-big-ones/ · English: https://rfriedmann.de/blog/how-small-models-learn-from-big-ones/
Published: 2026-10-10 · Track: learn · Level: Beginner
Lies die Release Notes eines kleinen offenen Modells, und ein Wort taucht immer wieder
auf: *destilliert*. Ein 1B- oder 3B-Modell, das ein Gespräch weit besser führt, als
seine Größe vermuten lässt, und irgendwo im Kleingedruckten steht, dass es mit Hilfe
eines viel größeren Geschwisters trainiert wurde.
Diese Hilfe ist keine Redensart. Das große Modell diente als Lehrer, und das kleine hat
direkt von ihm gelernt, auf eine Weise, die sich als weit effizienter herausstellt als
das Lernen aus rohem Text allein. Das ist einer der Hauptgründe, warum die Modelle, die
[auf eine einzelne Karte passen](/de/blog/how-a-big-model-fits-on-one-card/), so gut
geworden sind.
## Was normales Training wegwirft
Fang damit an, wie ein Modell normalerweise [lernt](/de/blog/how-a-model-learns/). Es
liest ein Stück Text, rät das nächste Wort, erfährt, welches Wort tatsächlich kam, und
schiebt seine Gewichte ein Stück in Richtung dieser Antwort. Ein paar Billionen Mal
wiederholen.
Das Feedback in dieser Schleife ist dünn. Bei „Das Wetter heute ist ___“ sagt der
Trainingstext „sonnig“, also ist „sonnig“ richtig und jedes andere Wort im Vokabular
gleich falsch: „kalt“ zählt genauso stark dagegen wie „Banane“. Das Modell muss selbst,
über eine riesige Zahl von Beispielen, herausfinden, dass manche falschen Antworten
viel vernünftiger sind als andere.
Ein trainiertes Modell weiß das schon. Frag es nach demselben Satz, und du bekommst
nicht ein Wort, sondern eine [ganze Verteilung bewerteter Optionen](/de/blog/why-different-answers/):
„sonnig“ wahrscheinlich, „kalt“ und „herrlich“ recht plausibel, „grau“ möglich, „lila“
praktisch nie. Diese Verteilung ist Information, die im ursprünglichen Text nie
enthalten war.
„Das Wetter heute ist ___“ - zwei Arten von Lösungsschlüssel
[diagram omitted — see the page for the chart]
Dasselbe Trainingsbeispiel, auf zwei Arten bewertet. Der Text sagt nur, welches Wort vorkam. Der Lehrer sagt, wie nah jedes andere Wort dran war, und dass „kalt“ ein viel besserer Fehlgriff ist als „grau“. Ein Schüler, der aus der unteren Reihe lernt, zieht aus jedem Satz mehrere Lektionen. Zahlen illustrativ.
## Aus den Zweifeln des Lehrers lernen
Destillation nimmt diese Verteilung als Lösungsschlüssel. Der Schüler liest denselben
Text, rät selbst und wird nicht in Richtung „sonnig, Punkt“ korrigiert, sondern in
Richtung der vollen Verteilung des Lehrers: überwiegend sonnig, gute Chance auf kalt,
ein bisschen herrlich.
Die Idee hat ein Paper von Geoffrey Hinton und Kollegen 2015 klar formuliert, und
Hinton gab der zusätzlichen Information einen einprägsamen Namen: *Dark Knowledge*.
Das ist alles, was der Lehrer weiß, aber nie in seiner Top-Antwort auftaucht. Dass
„kalt“ hier ein vernünftiges Wort ist. Dass das Bild eines Hundes ein bisschen wie eine
Katze aussieht und gar nicht wie ein Auto. In den Beziehungen zwischen falschen
Antworten steckt ein großer Teil des Verständnisses, und normales Training zeigt sie
immer nur indirekt.
Daraus folgen zwei praktische Konsequenzen:
- **Weniger Beispiele reichen weiter.** Jeder Satz trägt jetzt eine abgestufte Lektion
über Tausende möglicher Wörter statt eines einzigen Richtig-oder-falsch. Der Schüler
holt mehr aus demselben Text heraus.
- **Der Schüler lernt, was der Lehrer gelernt hat, nicht was der Text sagt.** Hat der
Lehrer verinnerlicht, dass ein Satz mehrdeutig ist, bekommt der Schüler die
Mehrdeutigkeit direkt beigebracht, statt sie neu entdecken zu müssen.
Im Originalrezept gibt es ein Tuning-Detail, das an etwas erinnert, das du vielleicht
schon kennst. Die Verteilung des Lehrers wird mit einer
[Temperatur](/de/blog/why-different-answers/)-Einstellung weicher gemacht, bevor der
Schüler sie sieht, damit die kleinen Wahrscheinlichkeiten der unwahrscheinlichen, aber
vernünftigen Wörter groß genug sind, um daraus zu lernen. Derselbe Regler wie beim
Sampling, für den umgekehrten Zweck: Hier geht es darum, die Außenseiter sichtbar zu
machen.
## Zwei Wege, wie man es heute macht
Die Lehrbuchversion oben braucht die vollen Bewertungen des Lehrers für jedes Wort an
jeder Position. Das ist die starke Form, und sie setzt die Gewichte des Lehrers oder
zumindest seine rohe Ausgabe voraus. Die andere Form braucht nur den Text des Lehrers.
Die Bewertungen übernehmen
Schüler kopiert die volle Verteilung des Lehrers pro Wort
Reichstes Signal, das Dark Knowledge kommt mit
Braucht das Innenleben des Lehrers, also nur intern
Lehrer und Schüler müssen ein Vokabular teilen
Aus seinen Texten lernen
Lehrer erzeugt Antworten, Schüler wird darauf fine-getunt
Geht mit jedem Lehrer, den du abfragen kannst
Nur die gewählten Wörter überleben, nicht die Zweifel
Schüler erbt die Fehler des Lehrers als Fakten
Beides wird bei den Modellen, die du herunterladen kannst, intensiv genutzt:
- **Gemma 2** hat seine 2B- und 9B-Modelle per Destillation von einem größeren Modell
trainiert statt mit reiner Next-Word-Prediction, und Google hat das prominent
herausgestellt.
- **Llama 3.2 1B und 3B** wurden aus Llama 3.1 8B heruntergeschnitten (Pruning) und
dann mit den Ausgabebewertungen der Llama-3.1-Modelle 8B und 70B als Ziel
vortrainiert.
- **Die kleinen Varianten von DeepSeek-R1**, von 1.5B bis 70B, sind gewöhnliche Qwen-
und Llama-Modelle, fine-getunt auf rund 800.000 mit R1 kuratierten Beispielen, die
meisten davon ausgearbeitete Lösungen aus seinem Trainingslauf. Kein eigenes
Reinforcement Learning: Sie haben gelernt,
[vor dem Antworten nachzudenken](/de/blog/why-models-think-before-answering/), indem sie
einem großen Modell dabei zugesehen haben.
- **DistilBERT**, ein älterer und viel zitierter Fall, kam 40 % kleiner und 60 %
schneller heraus als das BERT-Modell, aus dem es destilliert wurde, und behielt nach
Messung seiner Autoren auf dem GLUE-Benchmark 97 % seines Sprachverständnisses.
Dieses letzte Muster, grob der Großteil der Fähigkeit bei einem Bruchteil der Größe,
ist der wichtigste kommerzielle Grund. Jeder Token, den du erzeugst, bezahlt jedes Gewicht im
Modell, also kostet ein Schüler, der ein Zehntel so groß und fast so gut ist, ein
Zehntel im Betrieb, solange er läuft. Ihn einmal zu trainieren ist im Vergleich
billig.
## Was nicht mitkommt
Das „fast so gut“ verdient einen genaueren Blick, denn die Lücke ist nicht gleichmäßig
verteilt.
**Fakten lassen sich am schlechtesten komprimieren.** Das Weltwissen eines Modells
steckt in seinen Gewichten, und ein kleineres Modell hat weniger davon. Stil, Format,
Ton und die allgemeine Form einer guten Antwort übertragen sich sehr gut. Fakten aus dem
Long Tail, die Einwohnerzahl einer Kleinstadt oder die Signatur einer obskuren API,
brauchen Platz, und der Schüler hat schlicht weniger. Frag ein destilliertes Modell
etwas Obskures, und du bekommst eher eine
[selbstbewusste Erfindung](/de/blog/why-models-make-things-up/) als von seinem Lehrer.
**Die Benchmarks, auf die der Lehrer getunt war, übertragen sich am besten.** Lag der Schwerpunkt der
Destillationsdaten auf Mathe und Code, schneidet der Schüler bei Mathe und Code
gut ab. Über deinen Einsatz sagt das viel weniger, weshalb
[Tests mit deiner eigenen Arbeit](/de/blog/testing-a-model-on-your-own-work/) bei kleinen
Modellen wichtiger sind, nicht unwichtiger.
**Die Schwächen des Lehrers kommen mit.** Ein Schüler kann nicht lernen, korrekter zu
sein als die Antworten, die er nachahmt. Gerade in der Nur-Text-Form kommen die Fehler
des Lehrers genauso daher wie seine Erfolge.
**Nicht jeder darf als Lehrer dienen.** Auf der Ausgabe eines anderen Modells zu
trainieren ist technisch einfach und vertraglich heikel: Mehrere kommerzielle Anbieter
verbieten in ihren Nutzungsbedingungen, ihre Ausgaben zum Bau konkurrierender Modelle
zu verwenden. Open-Weights-Lehrer mit freizügigen Lizenzen sind der saubere Weg, und
das ist ein großer Teil des Grundes, warum Modellfamilien heute in mehreren Größen
gleichzeitig erscheinen. Das große Modell ist das Produkt und der Lehrer.
## Warum das wichtig ist, wenn du Modelle selbst betreibst
Wenn du das [Datenblatt](/de/blog/reading-model-specs/) eines kleinen Modells liest, sagt
dir die Parameterzahl, was es im Betrieb kostet, nicht, woher seine Fähigkeit kommt. Ein
3B-Modell, destilliert von einem starken Lehrer, kann weit nützlicher sein als ein
7B-Modell, das nur auf Text trainiert wurde, und die Größe im Namen verrät dir davon
nichts.
Nimm „destilliert“ also als gutes Zeichen mit bekanntem Profil: flüssig, sauber
formatiert, bei strukturierten Aufgaben oft fähig, dünner bei Fakten als
der Lehrer. Kombiniere es mit [deinen eigenen Dokumenten](/de/blog/your-own-documents/),
wenn Fakten zählen, prüf es mit deiner eigenen Arbeit, und das kleine Modell auf deiner
eigenen Hardware erledigt vieles von dem, was das große kann, weil es im ganz
wörtlichen Sinn von ihm unterrichtet wurde.