Mixture of Experts: wie ein 30B-Modell läuft wie ein 3B-Modell
Die Bauweise hinter Qwen3-30B-A3B: das Modell in viele Experten aufteilen und pro Token nur wenige ausführen. Warum das zu einer GPU passt, und welchen technischen Aufwand es mitbringt.
Ein Name wie Qwen3-30B-A3B steht für eine bestimmte Bauweise. 30
Milliarden Parameter insgesamt, aber nur 3 Milliarden „aktiv“ pro Token. Diese
Lücke ist Mixture of Experts, und sie ist ein großer Teil der Erklärung, warum
große Modelle überhaupt auf einer einzelnen Consumer-Karte laufen.
Die Idee: nicht das ganze Modell ausführen#
Ein normales („dichtes“, englisch dense) Modell führt für jeden Token jedes seiner Gewichte aus. Ein Mixture-of-Experts-Modell teilt den Großteil seiner selbst in viele parallele Experten auf, und für jeden Token wählt ein kleiner Router nur wenige davon aus. Der Rest bleibt abgeschaltet.
Ein 30B-Modell mit 3B aktiv leistet pro Token also ungefähr die Rechenarbeit eines 3B-Modells, behält aber die Wissenskapazität eines 30B-Modells.
Was die Engine tatsächlich macht#
In imp besteht der Weg eines Tokens durch eine MoE-Schicht aus vier Schritten:
- Routen. Ein winziges Gating-Netz bewertet alle Experten, und die besten paar gewinnen. Qwen3-30B-A3B feuert 8 seiner 128 Experten pro Token, gpt-oss 4 von 32; die genaue Aufteilung hängt vom Modell ab.
- Sortieren. Die Tokens werden danach gruppiert, welche Experten sie gewählt haben, sodass jeder Experte einen zusammenhängenden Batch Arbeit bekommt statt verstreuter Tokens.
- Grouped GEMM. Ein einziger CUTLASS-Kernel arbeitet die Batches aller Experten in einem Durchgang ab, direkt auf den 4-Bit-Gewichten, ohne Umweg über die Dequantisierung.
- Kombinieren. Die Ausgaben der gewählten Experten werden für jeden Token wieder gewichtet aufsummiert, gewichtet danach, wie stark der Router den jeweiligen Experten gewählt hat.
Warum das zu einer einzelnen GPU passt#
Weniger aktive Parameter heißt weniger Rechenarbeit pro Token, und da Decode ohnehin speichergebunden ist, dekodieren MoE-Modelle für ihre Größe schnell. Die gemessenen Decode-Geschwindigkeiten auf einer einzelnen 5090 zeigen es:
| Modell | Gesamt | Aktiv | Decode (tok/s) |
|---|---|---|---|
| Qwen3-Coder-30B-A3B | 30B | 3B | 338 |
| gpt-oss-20b | 21B | 3.6B | 325 |
| Qwen3-30B-A3B | 30B | 3B | 305 |
| Gemma-4-26B-A4B | 26B | 4B | 266 |
| Qwen3.6-35B-A3B | 35B | 3B | 257 |
Ein dichtes 30B-Modell würde schlicht nicht in 32 GB passen. Ein 30B-MoE, auf 4 Bit quantisiert, passt in etwa 16 GB und dekodiert mit über 300 Tokens pro Sekunde. Selbst ein MoE mit 56 GiB an Experten läuft auf dieser Karte, mit den Experten auf dem Host und einem Cache im VRAM: wie imp Qwen3.8-Flash-Next ausführt.
Was es kostet#
MoE gibt es nicht umsonst, es verschiebt die Kosten nur von der Rechenarbeit zur Ingenieursarbeit.
Es verträgt sich schlecht mit dem schnellen Decode-Pfad. Normalerweise zeichnet imp die Arbeit pro Token einmal auf und spielt sie dann wieder ab (ein „CUDA Graph“), um Overhead zu sparen. Der Router wählt aber für jeden Token andere Experten, also ändert sich der Pfad bei jedem Schritt. imp behält den Graph für Gemma-4, dessen Routing es komplett auf der GPU erledigen kann, und verzichtet bei den anderen darauf, wo die Auswahl erst zum Host zurück muss.
Die Last ist ungleichmäßig. Wenn zufällig viele Tokens denselben Experten wählen, bekommt dieser einen riesigen Batch, während andere untätig bleiben. Die Last auf der GPU ist dann so ungleich verteilt, wie es bei einem dichten Modell nie vorkommt.
Reproduzierbarkeit kostet Zusatzarbeit. Die schnelle parallele Gruppierung kann die Tokens von Lauf zu Lauf umsortieren. Das ändert die Reihenfolge der Gleitkomma-Summen und bricht die bitgenaue Wiederholbarkeit. imp hat dafür einen separaten deterministischen Pfad für die Fälle, in denen das zählt.
30B (3B active) ist also ein guter Kompromiss: Du bekommst den Großteil der
Qualität eines großen Modells mit dem Tempo eines kleinen, im Tausch gegen den
zusätzlichen technischen Aufwand. Der
Post über Kernels erzählt die
Grouped-GEMM-Seite dieser Geschichte.