# Wie ein Modell mit 30 Milliarden Parametern auf eine Karte passt
> Quantisierung einfach erklärt: wie das Speichern jeder Zahl im Modell mit weniger Bits ein großes Modell auf eine Desktop-Grafikkarte bringt, und was das kostet.
Source: https://rfriedmann.de/de/blog/how-a-big-model-fits-on-one-card/ · English: https://rfriedmann.de/blog/how-a-big-model-fits-on-one-card/
Published: 2026-04-10 · Track: learn · Level: Beginner
Ein Modell wie Qwen3-30B enthält 30 Milliarden Zahlen (seine [Gewichte](/de/blog/what-is-an-llm/)).
Auf die übliche Art gespeichert sind das etwa 60 Gigabyte. Eine RTX 5090 fasst 32.
Die Rechnung geht nicht auf, und trotzdem läuft das Modell auf dieser Karte
problemlos. Das Verfahren dahinter heißt Quantisierung, und die Idee ist einfach.
## Eine Zahl braucht keine 16 Bit
Standardmäßig wird jedes Gewicht mit 16 Bit gespeichert, also 2 Byte. Das ist
großzügig: Damit lässt sich eine Zahl sehr genau darstellen. Aber die Gewichte
eines Modells brauchen so viel Genauigkeit gar nicht. Ungefähr denselben Wert
kannst du in 8 Bit speichern, sogar in 4.
Dieselbe Zahl, in weniger Bits gespeichert
[diagram omitted — see the page for the chart]
Jedes Kästchen ist ein Bit. Weniger Bits pro Zahl heißt eine kleinere Datei, auf Kosten von etwas Genauigkeit.
Weniger Bits heißt eine gröbere Version jeder Zahl, aber auch ein viel kleineres
Modell. Und es zeigt sich: „Grob, aber nah dran“ reicht für die Milliarden
Gewichte in einem Sprachmodell.
## Warum das wichtig ist: Es passt, und es ist schneller
Schrumpf jede Zahl von 16 Bit auf 4, und das ganze Modell schrumpft mit.
Ein Modell mit 30 Milliarden Parametern: Dateigröße nach Genauigkeit
[diagram omitted — see the page for the chart]
FP16 passt nicht. FP8 passt gerade so, ohne Platz, um tatsächlich zu laufen. FP4 passt mit reichlich Reserve für alles andere.
Damit gewinnst du zwei Dinge auf einmal. Erstens **passt** das Modell überhaupt in
den Speicher der Karte, mit Reserve für den [Arbeitsspeicher, den es während der
Ausführung braucht](/de/blog/what-is-a-gpu/). Zweitens läuft es **schneller**: Text
erzeugen heißt, für jedes Wort all diese Gewichte durch den Chip zu schleppen, und
weniger Bytes heißt weniger Schlepperei. (Die Geschichte zum Tempo hat
[einen eigenen Post](/de/blog/serving-30b-models-rtx-5090/).)
## Der Preis: Genauigkeit
Weniger Bits heißt, jede Zahl ist ungenauer, und treibst du es zu weit, wird das
Modell spürbar schlechter.
Ein passender Vergleich ist ein JPEG-Foto. Speicherst du es kleiner, verliert es ein
wenig Detail, das dir vermutlich nie auffällt; komprimierst du es zu stark, siehst du
sichtbare Blöcke. Quantisierung ist derselbe Tausch. Plumpes 4-Bit tut weh; moderne
4-Bit-Formate gehen aber besser damit um (sie speichern für jede kleine Gruppe von
Zahlen ein wenig zusätzliche Skalierungsinformation), und das Ergebnis bleibt nah am
Modell in voller Größe.
Genau auf diese Skalierung pro Gruppe setzt [imp](https://github.com/kekzl/imp): Es
wandelt ein Modell beim Laden in 4 Bit um, und nur deshalb läuft ein Modell mit
30 Milliarden Parametern überhaupt auf einer Desktop-Karte. Wenn du die
Hardware-Seite sehen willst, also warum diese Karte bestimmte Dinge kann und andere
nicht, lies [was einer 5090 im Vergleich zu einer Rechenzentrums-GPU fehlt](/de/blog/what-the-5090-lacks-vs-datacenter/).