GGUF schneller dekodieren als llama.cpp auf einer 5090
imp dekodiert dichte GGUF-Modelle 37 bis 72 % schneller als llama.cpp auf einer 5090. Nicht weil llama.cpp naiv wäre: imp ist für einen einzigen Chip gebaut. Und wo es verliert.
GGUF ist das eigene Format von llama.cpp, sein Heimspiel. Es ist also eine leicht freche
Behauptung, dass imp dichte GGUF-Modelle auf einer 5090
mindestens 37 % schneller dekodiert als llama.cpp (und in den besten Fällen bis zu
72 %). Die Zahl ist der Unterschied im Decode-Durchsatz, gemessen in imps eigenen
Single-Stream-Läufen mit Batch 1 bei kurzem Kontext (tg128, 128 erzeugte Tokens). Die
beiden Enden sind Qwen3-14B Q6_K (155,4 gegenüber 113,7 tok/s, +37 %) und Qwen3-8B Q8_0
(274,4 gegenüber 159,7 tok/s, +72 %), gemessen am 2026-05-29 auf denselben GGUF-Dateien
gegen llama.cpp-Build 19e92c3 (CUDA 12.8, -fa 1 -ngl 999 -r 5), imp mit 8
Wiederholungen. Die Treiberversion wurde bei diesen Läufen nicht protokolliert. Hier
steht genau, warum das so ist, in der ehrlichen Fassung, und bei welchen Modellen sich
die Behauptung umdreht.
Decode ist ein Bandbreitenspiel#
Das Ganze ruht auf einer Tatsache aus dem Roofline-Post: Single-Stream-Decode mit Batch 1 ist durch die Bandbreite begrenzt. Der Chip wartet mehr auf Gewichte, als dass er rechnet. Also entscheiden zwei Dinge, wer gewinnt: wie viele Bytes du pro Gewicht bewegst und wie gut deine Kernels genau diesen Chip ausnutzen. imp gewinnt bei beidem, und hier lohnt sich Präzision, denn die bequeme Fassung dieser Geschichte ist falsch.
Was llama.cpp tatsächlich macht#
Die bequeme Fassung lautet: „llama.cpp weitet alles auf FP16 auf, imp nicht.“ Auf dem
Decode-Pfad stimmt das nicht. Das CUDA-Decode von llama.cpp läuft über quantisierte
Integer-Kernels (die mul_mat_vec_q-Familie): Es quantisiert die Aktivierung auf INT8
und rechnet mit dp4a-Skalarprodukten direkt gegen die quantisierten Gewichte, ohne
Umweg über FP16. Das ist wirklich gut gebaut. Beide Engines lassen FP16 für die Gewichte
also schon aus, und der echte Unterschied ist enger und spezifischer, als es das
Marketing klingen lässt.
Woher imps Vorsprung wirklich kommt#
Von zwei Stellen, und nur bei der ersten geht es um Bytes.
Ein 4-Bit-Decode-Cache. Beim Laden wandelt imp die GGUF-Gewichte (Q8_0, Q6_K) einmalig in 4-Bit-NVFP4 um und legt sie zusammenhängend ab. Das ist eine verlustbehaftete Requantisierung der Decode-Pfad-Gewichte, kein kostenloses Umpacken. Bei einer 8-Bit-Quelle halbiert das die Gewichts-Bytes, die der heiße Decode-Pfad streamt, und auf einem bandbreitenbegrenzten Pfad ist die halbe Bytezahl schon der größte Teil eines Gewinns. Das kleine Format einmal bauen und es dann bei jedem der Tausenden Decode-Schritte ausspielen. Prefill behält die Quelle in voller Genauigkeit, die Requantisierung berührt also nur den Decode-Pfad; deren Ausgabequalität wird hier nicht gesondert abgesichert.
Kernels für einen einzigen Chip. Die weniger glamouröse Hälfte: imps
Matrix-Vektor-Kernels sind eigens für sm_120 geschrieben, der NVFP4-Pfad auf den
FP4-Tensor-Cores der 5090, dazu eine Kaskade pro Quantisierungsformat, die für jedes
Format den richtigen Kernel wählt. Bei einer Quelle, die schon 4 Bit hat, einem
Q4_K-Modell (hier ein MoE, Gemma-4-26B-A4B), bleibt kein Bytevorteil mehr zu holen, und
trotzdem gewinnt imp. Das deutet darauf hin, dass dort die Kernels den Vorsprung tragen
und nicht die Bandbreite, auch wenn ein MoE-Beispiel ein schwächeres Signal ist, als es
ein sauberer Beweis an einem dichten Modell wäre.
Zählst du beides zusammen, kommst du auf die +37 bis 72 % über dichte GGUF-Modelle, nachzulesen in BENCHMARKS.md. Die Prefill-Vergleiche dort sind an Commits verankert; die Decode-Zahl gegen llama.cpp steht vorerst nur in der Zusammenfassung.
Eine Anmerkung zu den Formaten#
Es lohnt sich zu wissen, warum es so viele Quant-Namen gibt. Q8_0 und Q4_0 nutzen
einfache Blöcke aus 32 Elementen mit je einem Skalierungsfaktor. Die Q*_K-Formate nutzen
„Superblöcke“ aus 256 Elementen mit acht feineren Unter-Skalierungsfaktoren, was bei
gleicher Bitbreite bessere Qualität bringt. imps Integer-Pfad kann beides; die
Superblöcke kosten nur ein aufwendigeres Entpacken.
Wo es verliert, ehrlich#
Das Muster gilt für die dichten Modelle, nicht für jedes MoE. Im selben Lauf vom 2026-05-29 gewann Gemma-4-26B, aber Qwen3-30B-A3B Q4_K_M dekodierte 13 % langsamer als llama.cpp (276,5 gegenüber 316,7 tok/s), und Qwen3.6-35B, ein Gated-DeltaNet-Hybrid, rund 31 % langsamer (157,9 gegenüber 228,6). Auf Qwen3.6 ließ imp die rekurrenten Projektionen bei jedem Token als FP16 durch cuBLAS laufen. Das war imps eigener Default, keine Untergrenze: Ein Opt-in-Flag, das sie in den 4-Bit-Decode-Cache verschiebt, brachte dieselbe Datei auf 248 tok/s bei unveränderter Perplexity (PR #486). Die Default-Zahlen in der Tabelle zu lassen ist die ehrliche Fassung.
Und Ehre, wem Ehre gebührt: GGUF, die Quant-Formate, das ganze praktische Handbuch dafür, Modelle lokal zu betreiben, kamen von llama.cpp. imp kann sich nur deshalb auf einen Chip spezialisieren, weil llama.cpp die Straße gebaut hat, auf der alle fahren. Auf einer einzelnen GPU schneller zu sein ist ein schmaler Sieg gegen ein Projekt, das etwas weit Schwierigeres tut: alles unterstützen, überall.
Die allgemeinere Lehre ist die, aus der die ganze Engine entstanden ist: Auf Consumer-Blackwell verliert „überall schnell“ gegen „genau für diesen Chip gebaut“. Gleiches Format, gleiches Modell, eine schärfere Wette darauf, welche Bytes du bewegst und welche Kernels du laufen lässt.