Das Engineering-Log23 Beiträge
CUDA auf einer Consumer-Karte: die Entwicklung von imp und axo und wie schnelle Inferenz funktioniert, bis auf Bit-Ebene. Neueste zuerst.
Von Grund auf gebautDie Projekte, 13 Beiträge
Die Engines selbst, imp und axo: was sie tun, wie sie entstehen und welche Messwerte sie erreichen.
Der Kernel, der nullmal lief
Ein Rewrite machte einen imp-Kernel bis zu 33 % schneller, und das Serving startet diesen Kernel nie. Vier Ergebnisse von einem Tag, die keinen Engine-Code geändert haben, und das Ledger, das dem nächsten Audit erspart, doppelt dafür zu zahlen.Speculative Decoding, wenn sich die Chats überlappen
Qwen3.8-27B bringt seinen eigenen Draft-Head mit. In imp machte er einen einzelnen Chat 35 % schneller, und jeder weitere Chat oder Side-Request der UI schaltete ihn ab. Neun Änderungen später dekodieren vier überlappende Chats mit etwa 140 tok/s statt 84.APA: schlampige Attention, exakt, wo es zählt
Ein Prefill-Kernel für die RTX 5090, der jedes Attention-Tile in FP4 rechnet, die 6 bis 10 %, die die Softmax-Masse tragen, exakt in FP16 nachrechnet und beides zusammenführt: 2,50x schneller als komplett exakt bei 122880 Keys.Wie imp Qwen3.8-Flash-Next auf einer 32-GB-Karte betreibt
56 GiB Experten, 32 GB VRAM: alle Experten auf dem Host, ein von der GPU verwalteter Cache im VRAM und Decode von 5,8 auf 75-80 Tokens pro Sekunde auf echtem Text.Das Oracle, das du dir selbst baust
Dependabot hat fünf PRs gegen diese Site geöffnet, drei davon major. Keine Testsuite, also habe ich den Check selbst gebaut: die Site mit beiden Versionen rendern und das Ergebnis diffen.Kein Oracle für eine Wiese
Ein Satz an Claude Opus 5, 1.922 Zeilen WebGL, eine Honigbiene im Gegenlicht, keine Zahl zum Prüfen. Was tritt an die Stelle eines Tests, wenn dein Auge der einzige Richter ist?axo: Lernen ohne Backprop
Ein von Grund auf gebautes Spiking Neural Network in C++/CUDA auf einer RTX 5090, das mit lokalen Regeln lernt, ohne Backprop, und zu einem Wesen heranwächst, das jagen lernt.Eine Abhängigkeit bumpen, die du nicht lesen kannst
CUTLASS unter imps 4-Bit-Mathematik aktualisieren. In numerischem CUDA stürzt ein schlechter Bump nicht ab, er liefert falsche Zahlen. Du reviewst ihn nicht, du machst ihn überprüfbar.GGUF schneller dekodieren als llama.cpp auf einer 5090
imp dekodiert dichte GGUF-Modelle 37 bis 72 % schneller als llama.cpp auf einer 5090. Nicht weil llama.cpp naiv wäre: imp ist für einen einzigen Chip gebaut. Und wo es verliert.Drei Kernel für einen Chip, den das Ökosystem ausgelassen hat
FlashAttention-2 und NVFP4-GEMM von Grund auf für die RTX 5090 getunt, und was mir der Profiler beigebracht hat, als sich jede Lehrbuch-Optimierung als falsche Fährte erwies.Wie 97.000 Zeilen CUDA von einem KI-Agenten geschrieben wurden
Meine beiden imp-Posts enden mit ‚jede Zeile wurde von Claude Code geschrieben‘. Die Frage, die immer folgt: Wie funktioniert das eigentlich, und wie vertraust du dem?30B-Modelle mit 300 tok/s auf einer einzelnen RTX 5090 betreiben
Warum keine bestehende Inference-Engine Consumer-Blackwell voll ausnutzt, was NVFP4 ändert, und die Zahlen aus dem Bau einer Engine, die es tut.Wie imp aus einer Modelldatei Wörter macht
Ein Rundgang in einfacher Sprache durch das Innere einer KI-Engine: wie ein Modell geladen wird und welche Schritte jede Nachricht durchläuft, um als Text zurückzukommen.Wie Inferenz auf Hardware-Ebene funktioniertDie Konzepte, 10 Beiträge
Die übertragbaren Ideen darunter, von Zahlenformaten bis Attention, abgestimmt auf einen Consumer-Chip.