Raphael Friedmann
← KI verstehen

Wie ein Modell mit 30 Milliarden Parametern auf eine Karte passt

Quantisierung einfach erklärt: wie das Speichern jeder Zahl im Modell mit weniger Bits ein großes Modell auf eine Desktop-Grafikkarte bringt, und was das kostet.

Ein Modell wie Qwen3-30B enthält 30 Milliarden Zahlen (seine Gewichte). Auf die übliche Art gespeichert sind das etwa 60 Gigabyte. Eine RTX 5090 fasst 32. Die Rechnung geht nicht auf, und trotzdem läuft das Modell auf dieser Karte problemlos. Das Verfahren dahinter heißt Quantisierung, und die Idee ist einfach.

Eine Zahl braucht keine 16 Bit#

Standardmäßig wird jedes Gewicht mit 16 Bit gespeichert, also 2 Byte. Das ist großzügig: Damit lässt sich eine Zahl sehr genau darstellen. Aber die Gewichte eines Modells brauchen so viel Genauigkeit gar nicht. Ungefähr denselben Wert kannst du in 8 Bit speichern, sogar in 4.

Dieselbe Zahl, in weniger Bits gespeichert
FP16 (16 Bit)= 2 ByteFP8 (8 Bit)= 1 ByteFP4 (4 Bit)= ein halbes Byte
Jedes Kästchen ist ein Bit. Weniger Bits pro Zahl heißt eine kleinere Datei, auf Kosten von etwas Genauigkeit.

Weniger Bits heißt eine gröbere Version jeder Zahl, aber auch ein viel kleineres Modell. Und es zeigt sich: „Grob, aber nah dran“ reicht für die Milliarden Gewichte in einem Sprachmodell.

Warum das wichtig ist: Es passt, und es ist schneller#

Schrumpf jede Zahl von 16 Bit auf 4, und das ganze Modell schrumpft mit.

Ein Modell mit 30 Milliarden Parametern: Dateigröße nach Genauigkeit
32 GB = eine RTX 5090FP1660 GBFP830 GBFP415 GB
FP16 passt nicht. FP8 passt gerade so, ohne Platz, um tatsächlich zu laufen. FP4 passt mit reichlich Reserve für alles andere.

Damit gewinnst du zwei Dinge auf einmal. Erstens passt das Modell überhaupt in den Speicher der Karte, mit Reserve für den Arbeitsspeicher, den es während der Ausführung braucht. Zweitens läuft es schneller: Text erzeugen heißt, für jedes Wort all diese Gewichte durch den Chip zu schleppen, und weniger Bytes heißt weniger Schlepperei. (Die Geschichte zum Tempo hat einen eigenen Post.)

Der Preis: Genauigkeit#

Weniger Bits heißt, jede Zahl ist ungenauer, und treibst du es zu weit, wird das Modell spürbar schlechter.

Ein passender Vergleich ist ein JPEG-Foto. Speicherst du es kleiner, verliert es ein wenig Detail, das dir vermutlich nie auffällt; komprimierst du es zu stark, siehst du sichtbare Blöcke. Quantisierung ist derselbe Tausch. Plumpes 4-Bit tut weh; moderne 4-Bit-Formate gehen aber besser damit um (sie speichern für jede kleine Gruppe von Zahlen ein wenig zusätzliche Skalierungsinformation), und das Ergebnis bleibt nah am Modell in voller Größe.

Genau auf diese Skalierung pro Gruppe setzt imp: Es wandelt ein Modell beim Laden in 4 Bit um, und nur deshalb läuft ein Modell mit 30 Milliarden Parametern überhaupt auf einer Desktop-Karte. Wenn du die Hardware-Seite sehen willst, also warum diese Karte bestimmte Dinge kann und andere nicht, lies was einer 5090 im Vergleich zu einer Rechenzentrums-GPU fehlt.