Raphael Friedmann
← KI verstehen

Mixture of Experts: wie ein 30B-Modell läuft wie ein 3B-Modell

Die Bauweise hinter Qwen3-30B-A3B: das Modell in viele Experten aufteilen und pro Token nur wenige ausführen. Warum das zu einer GPU passt, und welchen technischen Aufwand es mitbringt.

Ein Name wie Qwen3-30B-A3B steht für eine bestimmte Bauweise. 30 Milliarden Parameter insgesamt, aber nur 3 Milliarden „aktiv“ pro Token. Diese Lücke ist Mixture of Experts, und sie ist ein großer Teil der Erklärung, warum große Modelle überhaupt auf einer einzelnen Consumer-Karte laufen.

Die Idee: nicht das ganze Modell ausführen#

Ein normales („dichtes“, englisch dense) Modell führt für jeden Token jedes seiner Gewichte aus. Ein Mixture-of-Experts-Modell teilt den Großteil seiner selbst in viele parallele Experten auf, und für jeden Token wählt ein kleiner Router nur wenige davon aus. Der Rest bleibt abgeschaltet.

Mixture of Experts: wenige auswählen, den Rest überspringen
ein TokenRouterExperten (nur wenige feuern)Experte 1Experte 2Experte 3Experte 4Experte 5Experte 6vereinenweiter
Für jeden Token wählt ein kleiner Router die besten paar aus vielen Experten aus (Qwen3-30B-A3B hat 128 Experten und feuert 8 pro Token). Das Modell ist insgesamt riesig, aber pro Token läuft nur ein schmaler Teil, deshalb dekodiert es wie ein viel kleineres.

Ein 30B-Modell mit 3B aktiv leistet pro Token also ungefähr die Rechenarbeit eines 3B-Modells, behält aber die Wissenskapazität eines 30B-Modells.

Was die Engine tatsächlich macht#

In imp besteht der Weg eines Tokens durch eine MoE-Schicht aus vier Schritten:

  1. Routen. Ein winziges Gating-Netz bewertet alle Experten, und die besten paar gewinnen. Qwen3-30B-A3B feuert 8 seiner 128 Experten pro Token, gpt-oss 4 von 32; die genaue Aufteilung hängt vom Modell ab.
  2. Sortieren. Die Tokens werden danach gruppiert, welche Experten sie gewählt haben, sodass jeder Experte einen zusammenhängenden Batch Arbeit bekommt statt verstreuter Tokens.
  3. Grouped GEMM. Ein einziger CUTLASS-Kernel arbeitet die Batches aller Experten in einem Durchgang ab, direkt auf den 4-Bit-Gewichten, ohne Umweg über die Dequantisierung.
  4. Kombinieren. Die Ausgaben der gewählten Experten werden für jeden Token wieder gewichtet aufsummiert, gewichtet danach, wie stark der Router den jeweiligen Experten gewählt hat.

Warum das zu einer einzelnen GPU passt#

Weniger aktive Parameter heißt weniger Rechenarbeit pro Token, und da Decode ohnehin speichergebunden ist, dekodieren MoE-Modelle für ihre Größe schnell. Die gemessenen Decode-Geschwindigkeiten auf einer einzelnen 5090 zeigen es:

Modell Gesamt Aktiv Decode (tok/s)
Qwen3-Coder-30B-A3B 30B 3B 338
gpt-oss-20b 21B 3.6B 325
Qwen3-30B-A3B 30B 3B 305
Gemma-4-26B-A4B 26B 4B 266
Qwen3.6-35B-A3B 35B 3B 257

Ein dichtes 30B-Modell würde schlicht nicht in 32 GB passen. Ein 30B-MoE, auf 4 Bit quantisiert, passt in etwa 16 GB und dekodiert mit über 300 Tokens pro Sekunde. Selbst ein MoE mit 56 GiB an Experten läuft auf dieser Karte, mit den Experten auf dem Host und einem Cache im VRAM: wie imp Qwen3.8-Flash-Next ausführt.

Was es kostet#

MoE gibt es nicht umsonst, es verschiebt die Kosten nur von der Rechenarbeit zur Ingenieursarbeit.

Es verträgt sich schlecht mit dem schnellen Decode-Pfad. Normalerweise zeichnet imp die Arbeit pro Token einmal auf und spielt sie dann wieder ab (ein „CUDA Graph“), um Overhead zu sparen. Der Router wählt aber für jeden Token andere Experten, also ändert sich der Pfad bei jedem Schritt. imp behält den Graph für Gemma-4, dessen Routing es komplett auf der GPU erledigen kann, und verzichtet bei den anderen darauf, wo die Auswahl erst zum Host zurück muss.

Die Last ist ungleichmäßig. Wenn zufällig viele Tokens denselben Experten wählen, bekommt dieser einen riesigen Batch, während andere untätig bleiben. Die Last auf der GPU ist dann so ungleich verteilt, wie es bei einem dichten Modell nie vorkommt.

Reproduzierbarkeit kostet Zusatzarbeit. Die schnelle parallele Gruppierung kann die Tokens von Lauf zu Lauf umsortieren. Das ändert die Reihenfolge der Gleitkomma-Summen und bricht die bitgenaue Wiederholbarkeit. imp hat dafür einen separaten deterministischen Pfad für die Fälle, in denen das zählt.

30B (3B active) ist also ein guter Kompromiss: Du bekommst den Großteil der Qualität eines großen Modells mit dem Tempo eines kleinen, im Tausch gegen den zusätzlichen technischen Aufwand. Der Post über Kernels erzählt die Grouped-GEMM-Seite dieser Geschichte.