Raphael Friedmann

Das Engineering-Log23 Beiträge

CUDA auf einer Consumer-Karte: die Entwicklung von imp und axo und wie schnelle Inferenz funktioniert, bis auf Bit-Ebene. Neueste zuerst.

Von Grund auf gebautDie Projekte, 13 Beiträge

Die Engines selbst, imp und axo: was sie tun, wie sie entstehen und welche Messwerte sie erreichen.

Der Kernel, der nullmal lief

Ein Rewrite machte einen imp-Kernel bis zu 33 % schneller, und das Serving startet diesen Kernel nie. Vier Ergebnisse von einem Tag, die keinen Engine-Code geändert haben, und das Ledger, das dem nächsten Audit erspart, doppelt dafür zu zahlen.
Experte6. Nov 2026, 9 Min.

Speculative Decoding, wenn sich die Chats überlappen

Qwen3.8-27B bringt seinen eigenen Draft-Head mit. In imp machte er einen einzelnen Chat 35 % schneller, und jeder weitere Chat oder Side-Request der UI schaltete ihn ab. Neun Änderungen später dekodieren vier überlappende Chats mit etwa 140 tok/s statt 84.
Experte4. Nov 2026, 10 Min.

APA: schlampige Attention, exakt, wo es zählt

Ein Prefill-Kernel für die RTX 5090, der jedes Attention-Tile in FP4 rechnet, die 6 bis 10 %, die die Softmax-Masse tragen, exakt in FP16 nachrechnet und beides zusammenführt: 2,50x schneller als komplett exakt bei 122880 Keys.
Experte28. Okt 2026, 11 Min.

Wie imp Qwen3.8-Flash-Next auf einer 32-GB-Karte betreibt

56 GiB Experten, 32 GB VRAM: alle Experten auf dem Host, ein von der GPU verwalteter Cache im VRAM und Decode von 5,8 auf 75-80 Tokens pro Sekunde auf echtem Text.
Experte27. Sep 2026, 13 Min.

Das Oracle, das du dir selbst baust

Dependabot hat fünf PRs gegen diese Site geöffnet, drei davon major. Keine Testsuite, also habe ich den Check selbst gebaut: die Site mit beiden Versionen rendern und das Ergebnis diffen.
Ops11. Aug 2026, 9 Min.

Kein Oracle für eine Wiese

Ein Satz an Claude Opus 5, 1.922 Zeilen WebGL, eine Honigbiene im Gegenlicht, keine Zahl zum Prüfen. Was tritt an die Stelle eines Tests, wenn dein Auge der einzige Richter ist?
Fortgeschritten10. Aug 2026, 15 Min.

axo: Lernen ohne Backprop

Ein von Grund auf gebautes Spiking Neural Network in C++/CUDA auf einer RTX 5090, das mit lokalen Regeln lernt, ohne Backprop, und zu einem Wesen heranwächst, das jagen lernt.
Fortgeschritten17. Jun 2026, 7 Min.

Eine Abhängigkeit bumpen, die du nicht lesen kannst

CUTLASS unter imps 4-Bit-Mathematik aktualisieren. In numerischem CUDA stürzt ein schlechter Bump nicht ab, er liefert falsche Zahlen. Du reviewst ihn nicht, du machst ihn überprüfbar.
Fortgeschritten17. Jun 2026, 8 Min.

GGUF schneller dekodieren als llama.cpp auf einer 5090

imp dekodiert dichte GGUF-Modelle 37 bis 72 % schneller als llama.cpp auf einer 5090. Nicht weil llama.cpp naiv wäre: imp ist für einen einzigen Chip gebaut. Und wo es verliert.
Experte16. Jun 2026, 4 Min.

Drei Kernel für einen Chip, den das Ökosystem ausgelassen hat

FlashAttention-2 und NVFP4-GEMM von Grund auf für die RTX 5090 getunt, und was mir der Profiler beigebracht hat, als sich jede Lehrbuch-Optimierung als falsche Fährte erwies.
Experte11. Jun 2026, 8 Min.

Wie 97.000 Zeilen CUDA von einem KI-Agenten geschrieben wurden

Meine beiden imp-Posts enden mit ‚jede Zeile wurde von Claude Code geschrieben‘. Die Frage, die immer folgt: Wie funktioniert das eigentlich, und wie vertraust du dem?
Fortgeschritten9. Jun 2026, 6 Min.

30B-Modelle mit 300 tok/s auf einer einzelnen RTX 5090 betreiben

Warum keine bestehende Inference-Engine Consumer-Blackwell voll ausnutzt, was NVFP4 ändert, und die Zahlen aus dem Bau einer Engine, die es tut.
Fortgeschritten2. Jun 2026, 5 Min.

Wie imp aus einer Modelldatei Wörter macht

Ein Rundgang in einfacher Sprache durch das Innere einer KI-Engine: wie ein Modell geladen wird und welche Schritte jede Nachricht durchläuft, um als Text zurückzukommen.
Einstieg28. Apr 2026, 5 Min.

Wie Inferenz auf Hardware-Ebene funktioniertDie Konzepte, 10 Beiträge

Die übertragbaren Ideen darunter, von Zahlenformaten bis Attention, abgestimmt auf einen Consumer-Chip.

Quantisierung lebt in den Skalierungsfaktoren

Drei imp-Fixes, die kein Gewichtsbit verändert haben: ein Block-Skalierungsfaktor, der auf null gerundet wurde, ein Aktivierungs-Skalierungsfaktor, den der Checkpoint schon mitbrachte, und ein FP8-Skalierungsfaktor, den sich K und V geteilt haben. Qwen3-30B-A3B Perplexity 11,3565 auf 10,9566.
Experte4. Nov 2026, 7 Min.

Wie ein Modell jedes Mal gültiges JSON ausgibt

Nett fragen bringt dir fast immer gültiges JSON, und fast ist eine kaputte Integration. Die Lösung sitzt im Sampler: Streich jedes ungültige Token, bevor du samplest.
Experte16. Sep 2026, 6 Min.

Continuous Batching: wie eine GPU viele auf einmal bedient

Ein einzelner Decode-Stream verschwendet den Großteil der GPU. Bediene viele Requests auf einmal, teile jeden Durchlauf über die Gewichte und hör auf, auf das Ende des ganzen Batches zu warten.
Fortgeschritten24. Jun 2026, 5 Min.

Speculative Decoding: Lass ein kleines Modell raten

Decode ist bandbreitenbegrenzt, also liegen die Recheneinheiten der GPU meist brach. Speculative Decoding nutzt diese Rechenleistung, um geratene Tokens zu prüfen: gleiche Ausgabe, schneller.
Experte22. Jun 2026, 5 Min.

Online Softmax und das Register, das sich nicht bewegen kann

FlashAttention auf der 5090 im Detail: wie Online Softmax ohne die riesige Score-Matrix auskommt und warum ein Output in Registern rohes mma.sync statt WMMA erzwingt.
Experte17. Jun 2026, 4 Min.

Was einer Consumer-RTX-5090 neben einer Rechenzentrums-GPU fehlt

Die 5090 und die B200 sind beide Blackwell, aber dem Consumer-Chip fehlen ganze Fähigkeiten. Was weg ist, was es kostet und warum sich Rechenzentrums-Code nicht portieren lässt.
Fortgeschritten17. Jun 2026, 5 Min.

NVFP4 auf Bit-Ebene

Alle anderen Posts sagen ‚4 Bit‘ und gehen weiter. Hier ist NVFP4 bis hinunter zu den vier Bits und zwei Skalierungsfaktoren, plus die zwei Blackwell-Instruktionen (cvt, mma), die es fliegen lassen.
Experte15. Jun 2026, 3 Min.

Wenn das Modell kein Transformer ist: GDN und Mamba2

Nicht jedes LLM baut auf Attention auf. Gated DeltaNet und Mamba2 ersetzen die Score-Matrix durch eine Rekurrenz: konstanter Speicher und eine hartnäckige Präzisionsfrage.
Experte13. Jun 2026, 4 Min.

Der KV-Cache und was langen Kontext wirklich begrenzt

Die Einsteigerversion nennt ihn Kurzzeitgedächtnis. In Wirklichkeit entscheidet der KV-Cache, nicht die Gewichte, wie lang dein Kontext wird und woran dir der Speicher ausgeht.
Fortgeschritten19. Mai 2026, 4 Min.

Prefill, Decode und die Roofline, die alles erklärt

Eine Inference-Engine hat nicht ein Tempo, sondern zwei, und die gehorchen entgegengesetzten Gesetzen. Die Roofline ist die nützlichste Linse, um über LLM-Leistung nachzudenken.
Fortgeschritten5. Mai 2026, 4 Min.