Raphael Friedmann

Über mich

Zwanzig Jahre IT-Infrastruktur, aktuell mit Fokus auf eine Frage: Wie schnell kann eine einzelne Consumer-Grafikkarte moderne KI betreiben?

Ich bin Raphael Friedmann. Ich arbeite in der IT-Infrastruktur in Karlsruhe und habe vor zwei Jahrzehnten mit C++ angefangen. Den Großteil dieser Zeit habe ich im Betrieb von Produktivsystemen gearbeitet, mit Schwerpunkt auf Verfügbarkeit und Störungsbehebung.

Aus diesem Hintergrund ist diese Seite entstanden. Seit sich große Sprachmodelle auf eigener Hardware betreiben lassen, liegt mein Fokus nicht auf Cloud-APIs, sondern darauf, was eine einzelne Karte in einer Maschine leisten kann und wo ihre Grenzen liegen. imp ist entstanden, um das zu messen.

Was ich baue

imp ist eine von Grund auf geschriebene Inferenz-Engine in C++23 und CUDA für eine einzelne NVIDIA RTX 5090. Sie dekodiert MoE-Modelle der 30B-Klasse mit rund 350 Tokens pro Sekunde im Single-Stream, läuft über sieben Modelle auf derselben Karte 23 bis 82 % schneller als vLLM 0.31.0, bedient 32 Streams 43 % schneller als vLLM mit demselben Qwen3.8-27B-Checkpoint, hält 126 432 Tokens Kontext für ein 27B-Modell mit Gewichten und KV-Cache in NVFP4 und nutzt die native NVFP4-4-Bit-Arithmetik der Karte. Sie spricht die OpenAI- und die Anthropic-API nativ, ein Agenten-Stack für eine der beiden läuft also ohne Zwischenschicht. Jede Zahl ist in BENCHMARKS.md datiert und an einen Commit gebunden, mit dem Befehl zum Nachmessen. imp steht unter MIT-Lizenz und wurde komplett mit Claude Code geschrieben.

axo ist das Nebenexperiment: ein neuromorpher Lerner, der ohne Backpropagation trainiert.

Was ich schreibe

Die Seite hat zwei Reihen für zwei Zielgruppen. Das Engineering-Log (23 Beiträge) dokumentiert die Entwicklung von imp und axo und erklärt, wie Inferenz auf Hardware-Ebene funktioniert. KI verstehen und nutzen (43 Beiträge) ist ein nummerierter Kurs ab null: was ein LLM ist, was eine GPU tut und wo KI hilft oder Probleme verursacht. Kein Vorwissen vorausgesetzt, keine Produktwerbung.

Wo an einer Aussage eine Zahl hängt, ist sie auf meiner eigenen Hardware gemessen und nennt Hardware, Build und Tag.

Anderswo

Code liegt auf GitHub, das berufliche Profil auf LinkedIn, kleinere Open-Source-Projekte auf kekz.org. Kontakt per E-Mail unter kekz@kekz.org, für Fragen zur Engine, zu den Texten oder für berufliche Anfragen. Die Texte gibt es auch als Feed, und jeder Artikel ist als sauberes Markdown für Agenten verfügbar.