# Wenn das Modell kein Transformer ist: GDN und Mamba2
> Nicht jedes LLM baut auf Attention auf. Gated DeltaNet und Mamba2 ersetzen die Score-Matrix durch eine Rekurrenz: konstanter Speicher und eine hartnäckige Präzisionsfrage.
Source: https://rfriedmann.de/de/blog/when-the-model-is-not-a-transformer/ · English: https://rfriedmann.de/blog/when-the-model-is-not-a-transformer/
Published: 2026-06-13 · Track: log · Level: Expert
Fast alles, was die Leute LLM nennen, ist ein Transformer: Attention von vorne bis
hinten. Aber [imp](https://github.com/kekzl/imp) führt auch Modelle aus, die keine sind.
Qwen3.6-35B nutzt für die meisten seiner Layer **Gated DeltaNet**, Nemotron-3-Nano nutzt
**Mamba2**. Das sind Linear-Attention- und State-Space-Architekturen, und sie sind
verschieden genug, um einen ordentlichen Blick wert zu sein, nicht zuletzt, weil eines
davon das Modell ist, bei dem imps GGUF-Decode gegen llama.cpp am deutlichsten verlor.
## Die Rechnung der Attention und die Alternative
Softmax-Attention vergleicht jedes Token mit jedem anderen. Das ist O(n²) an Arbeit, und
es hinterlässt einen [KV-Cache, der mit dem Kontext
wächst](/de/blog/kv-cache-and-long-context/). Linear-Attention- und State-Space-Modelle
gehen einen anderen Handel ein: Sie ersetzen den Vergleich aller Paare durch eine
**Rekurrenz**, einen Zustand fester Größe, der Token für Token aktualisiert wird.
Transformer (Attention)
Vergleicht alle Tokens, O(n²)
KV-Cache wächst mit dem Kontext
Langer Kontext frisst Speicher
GDN / Mamba2 (Rekurrenz)
Ein laufender Zustand fester Größe
Konstanter Speicher, bei jeder Kontextlänge
Scan in linearer Zeit, keine Score-Matrix
## Gated DeltaNet: die Delta-Regel
GDN führt eine Zustandsmatrix `H` und wendet für jedes Token die „Delta-Regel“ an: Es
schreibt eine gegatete Korrektur in `H` (ein gelernter Decay skaliert den alten Zustand,
eine gelernte Rate den neuen Schreibvorgang) und liest dann den Output als `H` mal
Query. Keine Scores, kein Softmax, nur ein laufender Zustand, der fortwährend editiert
wird.
imp führt das als registerresidenten Scan aus: In der rekurrenten Decode-Form lebt der
Zustand in Registern und macht nie einen Umweg über den globalen Speicher. Der
Tensor-Core-Pfad mit gechunkter „WY-Repräsentation“ für die parallele Form
materialisiert Chunk-Zustände dagegen im Shared Memory (nach Yang et al. 2024). Das ist
echte Ingenieursarbeit, gerade weil die Rekurrenz sequenziell ist und die Schwierigkeit
darin liegt, sie zu parallelisieren, ohne die Antwort zu ändern.
## Mamba2: ein selektiver State Space
Mamba2 sieht aus der Ferne genauso aus: ein zeitdiskreter State-Space-Scan. Ein Zustand
`h` wird pro Token als `h = a*h + b*x` aktualisiert, und der Output wird als `y = C*h`
gelesen. imp parallelisiert das über die Zustandsdimension mit einem transponierten,
coalesced Layout, sodass benachbarte Threads benachbarten Speicher anfassen. Dieselbe
Idee wie bei GDN: ein fester Zustand, in einem Scan aktualisiert, statt einer Matrix von
Vergleichen.
## Die Superkraft bei langem Kontext
Hier ist der Lohn. Weil der Zustand eine feste Größe hat, kostet ein Kontext von 128
Tokens genau das, was ein Kontext von 128.000 Tokens kostet: nichts extra. Es gibt
keinen [KV-Cache](/de/blog/kv-cache-and-long-context/), der wachsen könnte, und kein
Limit, an das du stößt. Bei sehr langen Sequenzen bleiben die Speicherkosten pro Schritt
konstant, wo sie bei einem Transformer weiter wachsen, und deshalb tauchen diese
Architekturen immer wieder in Long-Context-Modellen auf. Der Preis dafür: Ein begrenzter
rekurrenter Zustand kann sich über große Distanzen schlechter exakt erinnern als volle
Attention, und deshalb sind Produktionsmodelle meist Hybride.
## Die Steuer: wo imp am meisten verliert
Jetzt der Haken und der Grund, warum Qwen3.6-35B das Modell ist, bei dem imps
GGUF-Decode am weitesten hinter llama.cpp lag, um etwa 31 %: Am 2026-05-29, mit Q4_K_M,
einem Prompt von 512 Tokens und 128 generierten Tokens, lief imp mit 157,9 tok/s
gegenüber 228,6 für llama.cpp Build 19e92c3 (`-fa 1 -ngl 999`). Batch-Größe und Limit
der Sequenzlänge wurden nicht festgehalten. Ein neuer Lauf am 2026-06-07 ergab 165
gegenüber 192 (imp über 256 generierte Tokens, llama.cpp über 32).
Wohin die NVFP4-Decode-Zeit von Qwen3.6-35B geht
[diagram omitted — see the page for the chart]
nsys-Profil des NVFP4-Checkpoints vom 2026-05-29 (CUDA Graphs aus, 76,7 tok/s), nicht der GGUF-Datei hinter den 31 %. Rund 44 % des Decodes sind FP16-GEMV: die GDN-In/Out-Projektionen, wegen der Qualität des rekurrenten Zustands aus 4 Bit herausgehalten, plus ein FP16-cuBLAS-lm_head. Am selben Tag brachte ein schnellerer MoE-Decode-Pfad diesen Checkpoint von 150,2 auf 228,5 tok/s, gleichauf mit den 229 von llama.cpp, auf NVFP4 war also der MoE-Pfad der größere Verlust, nicht die FP16-Steuer.
Auf dem NVFP4-Pfad hält imp die rekurrenten Projektionen **in FP16**. Sie auf 4 Bit zu
quantisieren sieht kostenlos aus, aber der Fehler hebt sich nicht auf; er akkumuliert
sich Token für Token im laufenden Zustand `H`, und imps Code-Notizen halten fest, dass 4
Bit die Qualität bei Modellen ab 9B verschlechtert. So summieren sich die FP16-Posten
oben auf etwa 44 % des Decodes, die als FP16-Matrix-Vektor-Arbeit laufen. Batch-1-Decode
ist durch die Speicherbandbreite begrenzt, die Projektionen in FP16 zu halten heißt
also, 2 Byte pro Gewicht zu bewegen statt 0,5; worauf du verzichtest, ist die
Bandbreitenersparnis von [4 Bit](/de/blog/nvfp4-at-the-bit-level/), nicht die
Tensor-Core-Beschleunigung. Bei der GGUF-Datei war der FP16-Schritt allerdings imps
eigene Wahl, nichts, was die Architektur jeder Engine aufzwingt: imp dequantisierte die
GDN-In/Out-Projektionen aus den quantisierten Gewichten der Datei nach FP16 und schickte
sie bei jedem Token durch cuBLAS. Ein Opt-in-Flag, das sie stattdessen in imps
4-Bit-Decode-Cache leitete, brachte dieselbe Q4_K_M-Datei bei unveränderter Perplexity
von 161 auf 248 tok/s, an den 228,6 von llama.cpp vorbei (PR #486, 2026-05-30).
Ein Nicht-Transformer ist also wirklich eine andere Maschine. Konstanter Speicher statt
eines wachsenden Caches, ein fortwährend editierter Zustand statt einer Matrix von
Scores und eine Präzisionsfrage auf dem einen Pfad, der den Zustand weiterträgt: imp
hält ihn auf dem NVFP4-Pfad wegen der Qualität in FP16, doch bei der GGUF-Datei hielt
ein 4-Bit-Weg die Perplexity stabil. Die [Zeile mit dem ehrlichen
Verlust](/de/blog/gguf-decode-beats-llama-cpp/) in den Benchmark-Tabellen hatte eine
echte Architektur dahinter, und ein Teil davon war imps eigene Wahl.