Raphael Friedmann
← KI verstehen

Wie ein kleines Modell von einem großen lernt

Viele der kleinen offenen Modelle, die du zu Hause laufen lassen kannst, wurden von einem größeren Modell unterrichtet, nicht nur vom Internet. Was Destillation ist, warum sie so gut funktioniert und was sie nicht weitergeben kann.

Lies die Release Notes eines kleinen offenen Modells, und ein Wort taucht immer wieder auf: destilliert. Ein 1B- oder 3B-Modell, das ein Gespräch weit besser führt, als seine Größe vermuten lässt, und irgendwo im Kleingedruckten steht, dass es mit Hilfe eines viel größeren Geschwisters trainiert wurde.

Diese Hilfe ist keine Redensart. Das große Modell diente als Lehrer, und das kleine hat direkt von ihm gelernt, auf eine Weise, die sich als weit effizienter herausstellt als das Lernen aus rohem Text allein. Das ist einer der Hauptgründe, warum die Modelle, die auf eine einzelne Karte passen, so gut geworden sind.

Was normales Training wegwirft#

Fang damit an, wie ein Modell normalerweise lernt. Es liest ein Stück Text, rät das nächste Wort, erfährt, welches Wort tatsächlich kam, und schiebt seine Gewichte ein Stück in Richtung dieser Antwort. Ein paar Billionen Mal wiederholen.

Das Feedback in dieser Schleife ist dünn. Bei „Das Wetter heute ist ___“ sagt der Trainingstext „sonnig“, also ist „sonnig“ richtig und jedes andere Wort im Vokabular gleich falsch: „kalt“ zählt genauso stark dagegen wie „Banane“. Das Modell muss selbst, über eine riesige Zahl von Beispielen, herausfinden, dass manche falschen Antworten viel vernünftiger sind als andere.

Ein trainiertes Modell weiß das schon. Frag es nach demselben Satz, und du bekommst nicht ein Wort, sondern eine ganze Verteilung bewerteter Optionen: „sonnig“ wahrscheinlich, „kalt“ und „herrlich“ recht plausibel, „grau“ möglich, „lila“ praktisch nie. Diese Verteilung ist Information, die im ursprünglichen Text nie enthalten war.

„Das Wetter heute ist ___“ - zwei Arten von Lösungsschlüssel
nur aus dem Text - ein Wort richtig, alles andere gleich falschsonnigkalt0 %herrlich0 %grau0 %vom Lehrer - wie plausibel jedes Wort istsonnig41 %kalt24 %herrlich16 %grau11 %
Dasselbe Trainingsbeispiel, auf zwei Arten bewertet. Der Text sagt nur, welches Wort vorkam. Der Lehrer sagt, wie nah jedes andere Wort dran war, und dass „kalt“ ein viel besserer Fehlgriff ist als „grau“. Ein Schüler, der aus der unteren Reihe lernt, zieht aus jedem Satz mehrere Lektionen. Zahlen illustrativ.

Aus den Zweifeln des Lehrers lernen#

Destillation nimmt diese Verteilung als Lösungsschlüssel. Der Schüler liest denselben Text, rät selbst und wird nicht in Richtung „sonnig, Punkt“ korrigiert, sondern in Richtung der vollen Verteilung des Lehrers: überwiegend sonnig, gute Chance auf kalt, ein bisschen herrlich.

Die Idee hat ein Paper von Geoffrey Hinton und Kollegen 2015 klar formuliert, und Hinton gab der zusätzlichen Information einen einprägsamen Namen: Dark Knowledge. Das ist alles, was der Lehrer weiß, aber nie in seiner Top-Antwort auftaucht. Dass „kalt“ hier ein vernünftiges Wort ist. Dass das Bild eines Hundes ein bisschen wie eine Katze aussieht und gar nicht wie ein Auto. In den Beziehungen zwischen falschen Antworten steckt ein großer Teil des Verständnisses, und normales Training zeigt sie immer nur indirekt.

Daraus folgen zwei praktische Konsequenzen:

  • Weniger Beispiele reichen weiter. Jeder Satz trägt jetzt eine abgestufte Lektion über Tausende möglicher Wörter statt eines einzigen Richtig-oder-falsch. Der Schüler holt mehr aus demselben Text heraus.
  • Der Schüler lernt, was der Lehrer gelernt hat, nicht was der Text sagt. Hat der Lehrer verinnerlicht, dass ein Satz mehrdeutig ist, bekommt der Schüler die Mehrdeutigkeit direkt beigebracht, statt sie neu entdecken zu müssen.

Im Originalrezept gibt es ein Tuning-Detail, das an etwas erinnert, das du vielleicht schon kennst. Die Verteilung des Lehrers wird mit einer Temperatur-Einstellung weicher gemacht, bevor der Schüler sie sieht, damit die kleinen Wahrscheinlichkeiten der unwahrscheinlichen, aber vernünftigen Wörter groß genug sind, um daraus zu lernen. Derselbe Regler wie beim Sampling, für den umgekehrten Zweck: Hier geht es darum, die Außenseiter sichtbar zu machen.

Zwei Wege, wie man es heute macht#

Die Lehrbuchversion oben braucht die vollen Bewertungen des Lehrers für jedes Wort an jeder Position. Das ist die starke Form, und sie setzt die Gewichte des Lehrers oder zumindest seine rohe Ausgabe voraus. Die andere Form braucht nur den Text des Lehrers.

Die Bewertungen übernehmen

  • Schüler kopiert die volle Verteilung des Lehrers pro Wort
  • Reichstes Signal, das Dark Knowledge kommt mit
  • Braucht das Innenleben des Lehrers, also nur intern
  • Lehrer und Schüler müssen ein Vokabular teilen

Aus seinen Texten lernen

  • Lehrer erzeugt Antworten, Schüler wird darauf fine-getunt
  • Geht mit jedem Lehrer, den du abfragen kannst
  • Nur die gewählten Wörter überleben, nicht die Zweifel
  • Schüler erbt die Fehler des Lehrers als Fakten

Beides wird bei den Modellen, die du herunterladen kannst, intensiv genutzt:

  • Gemma 2 hat seine 2B- und 9B-Modelle per Destillation von einem größeren Modell trainiert statt mit reiner Next-Word-Prediction, und Google hat das prominent herausgestellt.
  • Llama 3.2 1B und 3B wurden aus Llama 3.1 8B heruntergeschnitten (Pruning) und dann mit den Ausgabebewertungen der Llama-3.1-Modelle 8B und 70B als Ziel vortrainiert.
  • Die kleinen Varianten von DeepSeek-R1, von 1.5B bis 70B, sind gewöhnliche Qwen- und Llama-Modelle, fine-getunt auf rund 800.000 mit R1 kuratierten Beispielen, die meisten davon ausgearbeitete Lösungen aus seinem Trainingslauf. Kein eigenes Reinforcement Learning: Sie haben gelernt, vor dem Antworten nachzudenken, indem sie einem großen Modell dabei zugesehen haben.
  • DistilBERT, ein älterer und viel zitierter Fall, kam 40 % kleiner und 60 % schneller heraus als das BERT-Modell, aus dem es destilliert wurde, und behielt nach Messung seiner Autoren auf dem GLUE-Benchmark 97 % seines Sprachverständnisses.

Dieses letzte Muster, grob der Großteil der Fähigkeit bei einem Bruchteil der Größe, ist der wichtigste kommerzielle Grund. Jeder Token, den du erzeugst, bezahlt jedes Gewicht im Modell, also kostet ein Schüler, der ein Zehntel so groß und fast so gut ist, ein Zehntel im Betrieb, solange er läuft. Ihn einmal zu trainieren ist im Vergleich billig.

Was nicht mitkommt#

Das „fast so gut“ verdient einen genaueren Blick, denn die Lücke ist nicht gleichmäßig verteilt.

Fakten lassen sich am schlechtesten komprimieren. Das Weltwissen eines Modells steckt in seinen Gewichten, und ein kleineres Modell hat weniger davon. Stil, Format, Ton und die allgemeine Form einer guten Antwort übertragen sich sehr gut. Fakten aus dem Long Tail, die Einwohnerzahl einer Kleinstadt oder die Signatur einer obskuren API, brauchen Platz, und der Schüler hat schlicht weniger. Frag ein destilliertes Modell etwas Obskures, und du bekommst eher eine selbstbewusste Erfindung als von seinem Lehrer.

Die Benchmarks, auf die der Lehrer getunt war, übertragen sich am besten. Lag der Schwerpunkt der Destillationsdaten auf Mathe und Code, schneidet der Schüler bei Mathe und Code gut ab. Über deinen Einsatz sagt das viel weniger, weshalb Tests mit deiner eigenen Arbeit bei kleinen Modellen wichtiger sind, nicht unwichtiger.

Die Schwächen des Lehrers kommen mit. Ein Schüler kann nicht lernen, korrekter zu sein als die Antworten, die er nachahmt. Gerade in der Nur-Text-Form kommen die Fehler des Lehrers genauso daher wie seine Erfolge.

Nicht jeder darf als Lehrer dienen. Auf der Ausgabe eines anderen Modells zu trainieren ist technisch einfach und vertraglich heikel: Mehrere kommerzielle Anbieter verbieten in ihren Nutzungsbedingungen, ihre Ausgaben zum Bau konkurrierender Modelle zu verwenden. Open-Weights-Lehrer mit freizügigen Lizenzen sind der saubere Weg, und das ist ein großer Teil des Grundes, warum Modellfamilien heute in mehreren Größen gleichzeitig erscheinen. Das große Modell ist das Produkt und der Lehrer.

Warum das wichtig ist, wenn du Modelle selbst betreibst#

Wenn du das Datenblatt eines kleinen Modells liest, sagt dir die Parameterzahl, was es im Betrieb kostet, nicht, woher seine Fähigkeit kommt. Ein 3B-Modell, destilliert von einem starken Lehrer, kann weit nützlicher sein als ein 7B-Modell, das nur auf Text trainiert wurde, und die Größe im Namen verrät dir davon nichts.

Nimm „destilliert“ also als gutes Zeichen mit bekanntem Profil: flüssig, sauber formatiert, bei strukturierten Aufgaben oft fähig, dünner bei Fakten als der Lehrer. Kombiniere es mit deinen eigenen Dokumenten, wenn Fakten zählen, prüf es mit deiner eigenen Arbeit, und das kleine Modell auf deiner eigenen Hardware erledigt vieles von dem, was das große kann, weil es im ganz wörtlichen Sinn von ihm unterrichtet wurde.