Raphael Friedmann
← Das Log

Wenn das Modell kein Transformer ist: GDN und Mamba2

Nicht jedes LLM baut auf Attention auf. Gated DeltaNet und Mamba2 ersetzen die Score-Matrix durch eine Rekurrenz: konstanter Speicher und eine hartnäckige Präzisionsfrage.

Fast alles, was die Leute LLM nennen, ist ein Transformer: Attention von vorne bis hinten. Aber imp führt auch Modelle aus, die keine sind. Qwen3.6-35B nutzt für die meisten seiner Layer Gated DeltaNet, Nemotron-3-Nano nutzt Mamba2. Das sind Linear-Attention- und State-Space-Architekturen, und sie sind verschieden genug, um einen ordentlichen Blick wert zu sein, nicht zuletzt, weil eines davon das Modell ist, bei dem imps GGUF-Decode gegen llama.cpp am deutlichsten verlor.

Die Rechnung der Attention und die Alternative#

Softmax-Attention vergleicht jedes Token mit jedem anderen. Das ist O(n²) an Arbeit, und es hinterlässt einen KV-Cache, der mit dem Kontext wächst. Linear-Attention- und State-Space-Modelle gehen einen anderen Handel ein: Sie ersetzen den Vergleich aller Paare durch eine Rekurrenz, einen Zustand fester Größe, der Token für Token aktualisiert wird.

Transformer (Attention)

  • Vergleicht alle Tokens, O(n²)
  • KV-Cache wächst mit dem Kontext
  • Langer Kontext frisst Speicher

GDN / Mamba2 (Rekurrenz)

  • Ein laufender Zustand fester Größe
  • Konstanter Speicher, bei jeder Kontextlänge
  • Scan in linearer Zeit, keine Score-Matrix

Gated DeltaNet: die Delta-Regel#

GDN führt eine Zustandsmatrix H und wendet für jedes Token die „Delta-Regel“ an: Es schreibt eine gegatete Korrektur in H (ein gelernter Decay skaliert den alten Zustand, eine gelernte Rate den neuen Schreibvorgang) und liest dann den Output als H mal Query. Keine Scores, kein Softmax, nur ein laufender Zustand, der fortwährend editiert wird.

imp führt das als registerresidenten Scan aus: In der rekurrenten Decode-Form lebt der Zustand in Registern und macht nie einen Umweg über den globalen Speicher. Der Tensor-Core-Pfad mit gechunkter „WY-Repräsentation“ für die parallele Form materialisiert Chunk-Zustände dagegen im Shared Memory (nach Yang et al. 2024). Das ist echte Ingenieursarbeit, gerade weil die Rekurrenz sequenziell ist und die Schwierigkeit darin liegt, sie zu parallelisieren, ohne die Antwort zu ändern.

Mamba2: ein selektiver State Space#

Mamba2 sieht aus der Ferne genauso aus: ein zeitdiskreter State-Space-Scan. Ein Zustand h wird pro Token als h = a*h + b*x aktualisiert, und der Output wird als y = C*h gelesen. imp parallelisiert das über die Zustandsdimension mit einem transponierten, coalesced Layout, sodass benachbarte Threads benachbarten Speicher anfassen. Dieselbe Idee wie bei GDN: ein fester Zustand, in einem Scan aktualisiert, statt einer Matrix von Vergleichen.

Die Superkraft bei langem Kontext#

Hier ist der Lohn. Weil der Zustand eine feste Größe hat, kostet ein Kontext von 128 Tokens genau das, was ein Kontext von 128.000 Tokens kostet: nichts extra. Es gibt keinen KV-Cache, der wachsen könnte, und kein Limit, an das du stößt. Bei sehr langen Sequenzen bleiben die Speicherkosten pro Schritt konstant, wo sie bei einem Transformer weiter wachsen, und deshalb tauchen diese Architekturen immer wieder in Long-Context-Modellen auf. Der Preis dafür: Ein begrenzter rekurrenter Zustand kann sich über große Distanzen schlechter exakt erinnern als volle Attention, und deshalb sind Produktionsmodelle meist Hybride.

Die Steuer: wo imp am meisten verliert#

Jetzt der Haken und der Grund, warum Qwen3.6-35B das Modell ist, bei dem imps GGUF-Decode am weitesten hinter llama.cpp lag, um etwa 31 %: Am 2026-05-29, mit Q4_K_M, einem Prompt von 512 Tokens und 128 generierten Tokens, lief imp mit 157,9 tok/s gegenüber 228,6 für llama.cpp Build 19e92c3 (-fa 1 -ngl 999). Batch-Größe und Limit der Sequenzlänge wurden nicht festgehalten. Ein neuer Lauf am 2026-06-07 ergab 165 gegenüber 192 (imp über 256 generierte Tokens, llama.cpp über 32).

Wohin die NVFP4-Decode-Zeit von Qwen3.6-35B geht
FP16 GDN in/out proj29 %FP16 lm_head / vocab proj14 %NVFP4-MoE-Experten20 %Paged Attention9 %GDN-Scan3 %Alles andere25 %
nsys-Profil des NVFP4-Checkpoints vom 2026-05-29 (CUDA Graphs aus, 76,7 tok/s), nicht der GGUF-Datei hinter den 31 %. Rund 44 % des Decodes sind FP16-GEMV: die GDN-In/Out-Projektionen, wegen der Qualität des rekurrenten Zustands aus 4 Bit herausgehalten, plus ein FP16-cuBLAS-lm_head. Am selben Tag brachte ein schnellerer MoE-Decode-Pfad diesen Checkpoint von 150,2 auf 228,5 tok/s, gleichauf mit den 229 von llama.cpp, auf NVFP4 war also der MoE-Pfad der größere Verlust, nicht die FP16-Steuer.

Auf dem NVFP4-Pfad hält imp die rekurrenten Projektionen in FP16. Sie auf 4 Bit zu quantisieren sieht kostenlos aus, aber der Fehler hebt sich nicht auf; er akkumuliert sich Token für Token im laufenden Zustand H, und imps Code-Notizen halten fest, dass 4 Bit die Qualität bei Modellen ab 9B verschlechtert. So summieren sich die FP16-Posten oben auf etwa 44 % des Decodes, die als FP16-Matrix-Vektor-Arbeit laufen. Batch-1-Decode ist durch die Speicherbandbreite begrenzt, die Projektionen in FP16 zu halten heißt also, 2 Byte pro Gewicht zu bewegen statt 0,5; worauf du verzichtest, ist die Bandbreitenersparnis von 4 Bit, nicht die Tensor-Core-Beschleunigung. Bei der GGUF-Datei war der FP16-Schritt allerdings imps eigene Wahl, nichts, was die Architektur jeder Engine aufzwingt: imp dequantisierte die GDN-In/Out-Projektionen aus den quantisierten Gewichten der Datei nach FP16 und schickte sie bei jedem Token durch cuBLAS. Ein Opt-in-Flag, das sie stattdessen in imps 4-Bit-Decode-Cache leitete, brachte dieselbe Q4_K_M-Datei bei unveränderter Perplexity von 161 auf 248 tok/s, an den 228,6 von llama.cpp vorbei (PR #486, 2026-05-30).

Ein Nicht-Transformer ist also wirklich eine andere Maschine. Konstanter Speicher statt eines wachsenden Caches, ein fortwährend editierter Zustand statt einer Matrix von Scores und eine Präzisionsfrage auf dem einen Pfad, der den Zustand weiterträgt: imp hält ihn auf dem NVFP4-Pfad wegen der Qualität in FP16, doch bei der GGUF-Datei hielt ein 4-Bit-Weg die Perplexity stabil. Die Zeile mit dem ehrlichen Verlust in den Benchmark-Tabellen hatte eine echte Architektur dahinter, und ein Teil davon war imps eigene Wahl.