Raphael Friedmann
← Das Log

GGUF schneller dekodieren als llama.cpp auf einer 5090

imp dekodiert dichte GGUF-Modelle 37 bis 72 % schneller als llama.cpp auf einer 5090. Nicht weil llama.cpp naiv wäre: imp ist für einen einzigen Chip gebaut. Und wo es verliert.

GGUF ist das eigene Format von llama.cpp, sein Heimspiel. Es ist also eine leicht freche Behauptung, dass imp dichte GGUF-Modelle auf einer 5090 mindestens 37 % schneller dekodiert als llama.cpp (und in den besten Fällen bis zu 72 %). Die Zahl ist der Unterschied im Decode-Durchsatz, gemessen in imps eigenen Single-Stream-Läufen mit Batch 1 bei kurzem Kontext (tg128, 128 erzeugte Tokens). Die beiden Enden sind Qwen3-14B Q6_K (155,4 gegenüber 113,7 tok/s, +37 %) und Qwen3-8B Q8_0 (274,4 gegenüber 159,7 tok/s, +72 %), gemessen am 2026-05-29 auf denselben GGUF-Dateien gegen llama.cpp-Build 19e92c3 (CUDA 12.8, -fa 1 -ngl 999 -r 5), imp mit 8 Wiederholungen. Die Treiberversion wurde bei diesen Läufen nicht protokolliert. Hier steht genau, warum das so ist, in der ehrlichen Fassung, und bei welchen Modellen sich die Behauptung umdreht.

Decode ist ein Bandbreitenspiel#

Das Ganze ruht auf einer Tatsache aus dem Roofline-Post: Single-Stream-Decode mit Batch 1 ist durch die Bandbreite begrenzt. Der Chip wartet mehr auf Gewichte, als dass er rechnet. Also entscheiden zwei Dinge, wer gewinnt: wie viele Bytes du pro Gewicht bewegst und wie gut deine Kernels genau diesen Chip ausnutzen. imp gewinnt bei beidem, und hier lohnt sich Präzision, denn die bequeme Fassung dieser Geschichte ist falsch.

Was llama.cpp tatsächlich macht#

Die bequeme Fassung lautet: „llama.cpp weitet alles auf FP16 auf, imp nicht.“ Auf dem Decode-Pfad stimmt das nicht. Das CUDA-Decode von llama.cpp läuft über quantisierte Integer-Kernels (die mul_mat_vec_q-Familie): Es quantisiert die Aktivierung auf INT8 und rechnet mit dp4a-Skalarprodukten direkt gegen die quantisierten Gewichte, ohne Umweg über FP16. Das ist wirklich gut gebaut. Beide Engines lassen FP16 für die Gewichte also schon aus, und der echte Unterschied ist enger und spezifischer, als es das Marketing klingen lässt.

Pro Token gestreamte Gewichts-Bits, Q8_0-Modell (Decode)
llama.cpp (Q8_0, Integer)8 Bitimp (NVFP4-Decode-Cache)4 Bit
Beide Engines dekodieren mit quantisierten Kernels, nicht mit FP16. imps Vorsprung bei einer 8-Bit-Quelle ist sein 4-Bit-NVFP4-Decode-Cache, also die Hälfte der Gewichts-Bytes auf einem bandbreitenbegrenzten Pfad. Bei Quellen, die schon 4 Bit haben, kommt der Gewinn stattdessen von Kernels, die auf genau diesen Chip abgestimmt sind. Die 8 und die 4 sind die nominellen Elementbreiten; beide Formate tragen zusätzlich Block-Skalierungsfaktoren, die effektiven Bits liegen also bei etwa 8,5 (Q8_0, ein fp16-Skalierungsfaktor pro 32) gegenüber ungefähr 4,5 (NVFP4, ein E4M3-Skalierungsfaktor pro 16), nicht exakt bei 8 gegenüber 4.

Woher imps Vorsprung wirklich kommt#

Von zwei Stellen, und nur bei der ersten geht es um Bytes.

Ein 4-Bit-Decode-Cache. Beim Laden wandelt imp die GGUF-Gewichte (Q8_0, Q6_K) einmalig in 4-Bit-NVFP4 um und legt sie zusammenhängend ab. Das ist eine verlustbehaftete Requantisierung der Decode-Pfad-Gewichte, kein kostenloses Umpacken. Bei einer 8-Bit-Quelle halbiert das die Gewichts-Bytes, die der heiße Decode-Pfad streamt, und auf einem bandbreitenbegrenzten Pfad ist die halbe Bytezahl schon der größte Teil eines Gewinns. Das kleine Format einmal bauen und es dann bei jedem der Tausenden Decode-Schritte ausspielen. Prefill behält die Quelle in voller Genauigkeit, die Requantisierung berührt also nur den Decode-Pfad; deren Ausgabequalität wird hier nicht gesondert abgesichert.

Kernels für einen einzigen Chip. Die weniger glamouröse Hälfte: imps Matrix-Vektor-Kernels sind eigens für sm_120 geschrieben, der NVFP4-Pfad auf den FP4-Tensor-Cores der 5090, dazu eine Kaskade pro Quantisierungsformat, die für jedes Format den richtigen Kernel wählt. Bei einer Quelle, die schon 4 Bit hat, einem Q4_K-Modell (hier ein MoE, Gemma-4-26B-A4B), bleibt kein Bytevorteil mehr zu holen, und trotzdem gewinnt imp. Das deutet darauf hin, dass dort die Kernels den Vorsprung tragen und nicht die Bandbreite, auch wenn ein MoE-Beispiel ein schwächeres Signal ist, als es ein sauberer Beweis an einem dichten Modell wäre.

Zählst du beides zusammen, kommst du auf die +37 bis 72 % über dichte GGUF-Modelle, nachzulesen in BENCHMARKS.md. Die Prefill-Vergleiche dort sind an Commits verankert; die Decode-Zahl gegen llama.cpp steht vorerst nur in der Zusammenfassung.

Eine Anmerkung zu den Formaten#

Es lohnt sich zu wissen, warum es so viele Quant-Namen gibt. Q8_0 und Q4_0 nutzen einfache Blöcke aus 32 Elementen mit je einem Skalierungsfaktor. Die Q*_K-Formate nutzen „Superblöcke“ aus 256 Elementen mit acht feineren Unter-Skalierungsfaktoren, was bei gleicher Bitbreite bessere Qualität bringt. imps Integer-Pfad kann beides; die Superblöcke kosten nur ein aufwendigeres Entpacken.

Wo es verliert, ehrlich#

Das Muster gilt für die dichten Modelle, nicht für jedes MoE. Im selben Lauf vom 2026-05-29 gewann Gemma-4-26B, aber Qwen3-30B-A3B Q4_K_M dekodierte 13 % langsamer als llama.cpp (276,5 gegenüber 316,7 tok/s), und Qwen3.6-35B, ein Gated-DeltaNet-Hybrid, rund 31 % langsamer (157,9 gegenüber 228,6). Auf Qwen3.6 ließ imp die rekurrenten Projektionen bei jedem Token als FP16 durch cuBLAS laufen. Das war imps eigener Default, keine Untergrenze: Ein Opt-in-Flag, das sie in den 4-Bit-Decode-Cache verschiebt, brachte dieselbe Datei auf 248 tok/s bei unveränderter Perplexity (PR #486). Die Default-Zahlen in der Tabelle zu lassen ist die ehrliche Fassung.

Und Ehre, wem Ehre gebührt: GGUF, die Quant-Formate, das ganze praktische Handbuch dafür, Modelle lokal zu betreiben, kamen von llama.cpp. imp kann sich nur deshalb auf einen Chip spezialisieren, weil llama.cpp die Straße gebaut hat, auf der alle fahren. Auf einer einzelnen GPU schneller zu sein ist ein schmaler Sieg gegen ein Projekt, das etwas weit Schwierigeres tut: alles unterstützen, überall.

Die allgemeinere Lehre ist die, aus der die ganze Engine entstanden ist: Auf Consumer-Blackwell verliert „überall schnell“ gegen „genau für diesen Chip gebaut“. Gleiches Format, gleiches Modell, eine schärfere Wette darauf, welche Bytes du bewegst und welche Kernels du laufen lässt.