Raphael Friedmann

Raphael Friedmann, KI-Infrastruktur, Karlsruhe

Wie schnell kann eine Consumer-Grafikkarte moderne KI betreiben?

Gemessen mit imp, einer Inferenz-Engine, die für diese Karte gebaut ist.

imp96,4 tok/s3,11 s
vLLM 0.31.070,7 tok/s4,24 s

Wenn imp fertig ist, steht vLLM 0.31.0 bei Token 220 von 300.

Eine Zelle ist ein Token. Eine Antwort mit 300 Tokens, abgespielt mit der Decode-Rate, die für jede Engine auf demselben Checkpoint gemessen wurde: ein Stream, Spekulation aus, 2026-10-30. Eine Wiedergabe, keine Live-Inferenz. Alle sieben Modelle

Ich habe vor zwanzig Jahren mit C++ angefangen, vor allem mit Import- und Exportschnittstellen und kleinen Tools. Seitdem arbeite ich überwiegend im Betrieb von Produktivsystemen. imp ist eine Inferenz-Engine, von Grund auf für eine einzelne RTX 5090 gebaut, um die Frage oben zu beantworten.

  • 7 von 7 Modellen dekodieren im Single-Stream schneller als auf vLLM 0.31.0, +23 bis +82 %
  • +43 % mehr Durchsatz als vLLM bei 32 Streams, Qwen3.8-27B
  • 126 432 Tokens Kontext für ein 27B-Modell, Gewichte und KV-Cache in NVFP4 auf 32 GB

Zwei Reihen, such dir eine aus

Vorlage: eine KI-Richtlinie auf einer Seite

Jede IT-Leitung wird früher oder später danach gefragt. Meine Empfehlung: eine Seite mit freigegebenen Tools, Datenklassen, Verantwortung, Agenten und Schulung. Felder ausfüllen, drucken oder als Markdown übernehmen.

KI-Richtlinie der [Firma]
  1. Zweck
  2. Freigegebene Tools
  3. Datenklassen
  4. Verantwortung
  5. Kennzeichnung
  6. Agenten und Automatisierung
  7. Schulung
  8. Fragen und Anträge

imp, gemessen auf einer RTX 5090

Jede Zahl ist datiert und an einen Commit gebunden, in BENCHMARKS.md ↗

imp

Eine von Grund auf geschriebene C++23/CUDA-Engine, die große Sprachmodelle auf einer einzelnen NVIDIA RTX 5090 ausführt. Ihr Designziel ist die Single-Stream-Latenz: eine Person, eine Karte, möglichst kurze Zeit pro Antwort. Sie spricht die OpenAI- und die Anthropic-API nativ, ein Agenten-Stack für eine der beiden läuft also ohne Zwischenschicht. Komplett mit Claude Code geschrieben.

  • ~203k Zeilen C++23/CUDA
  • NVFP4 4-Bit nativ
  • OpenAI- und Anthropic-API
  • CUDA Graphs, Continuous Batching
  • v0.64.0, 5. Nov 2026
  • MIT-Lizenz
Single-Stream-Decode, imp gegen vLLM, sieben Modelle
imp, Spekulation ausvLLM 0.31.0, derselbe Checkpoint
Qwen3.6-35B-A3BNVFP4imp, Spekulation aus: 334,1 tok/s334,1vLLM 0.31.0, derselbe Checkpoint: 183,9 tok/s183,9+82%Qwen3-Coder-30B-A3BNVFP4imp, Spekulation aus: 357,6 tok/s357,6vLLM 0.31.0, derselbe Checkpoint: 220,6 tok/s220,6+62%Qwen3-8BFP8imp, Spekulation aus: 173,6 tok/s173,6vLLM 0.31.0, derselbe Checkpoint: 112,0 tok/s112,0+55%Qwen3-8BNVFP4imp, Spekulation aus: 273,9 tok/s273,9vLLM 0.31.0, derselbe Checkpoint: 186,5 tok/s186,5+47%Qwen3.8-27BNVFP4imp, Spekulation aus: 96,4 tok/s96,4vLLM 0.31.0, derselbe Checkpoint: 70,7 tok/s70,7+36%Qwen3-14BNVFP4imp, Spekulation aus: 169,2 tok/s169,2vLLM 0.31.0, derselbe Checkpoint: 128,8 tok/s128,8+31%Gemma-4-26B-A4BNVFP4imp, Spekulation aus: 274,4 tok/s274,4vLLM 0.31.0, derselbe Checkpoint: 222,6 tok/s222,6+23%0100200300400tok/s
Tokens pro Sekunde, ein Stream, auf beiden Seiten derselbe Checkpoint, frischer Container pro Engine, 300-Token-Antworten, Median aus drei Wellen, gemessen am 2026-10-30. Spekulation ist aus, vLLM spekuliert im Standard ebenfalls nicht. Nemotron-3-Nano-30B-A3B steht bei 414,5 auf imp und startet auf vLLM nicht. Gegen llama.cpp auf GGUF war imp im letzten Sweep am 2026-10-11 auf sechs von sechs Modellen vorn, +18 bis +82 % ohne Spekulation; GGUF ist in imp seit dem 2026-10-30 Legacy. Nachmessen mit RELEASE_BAR=1 bash scripts/bench_competitive.sh.
Mehr Messwerte: Qwen3.8-27B auf einer Karte, Serving-Durchsatz

Qwen3.8-27B auf einer Karte

Das Rechenbeispiel aus dem README: ein multimodales 27B-Modell, mit imps eigenem Quantisierer auf NVFP4 gebracht, damit es mit Platz für echten Kontext auf die 5090 passt. Derselbe Checkpoint lädt auch in vLLM, beide Engines im Vergleich unten nutzen also identische Gewichte.

Single-Stream-Decode
131 tok/s
Standard-Server mit MTP, ohne 97, 2026-11-03
Kontext auf 32 GB
126 432 Tokens
Gewichte und KV-Cache in NVFP4, Batch 8; mit 8-Bit-KV ist bei 86 848 Schluss, 2026-08-30
Decode bei 80k-Prompt
141 tok/s
ein Chat mit MTP, ohne 87, 2026-11-04
32 Streams
1 975 tok/s
aggregiert, 300-Token-Generierungen, 2026-10-31
Prefill
11 730 tok/s
pp4096, zwei Läufe 11 730 und 11 740, v0.34.0
Spitze auf der Karte
24,2 GiB
Standard-Server mit MTP-Head, 19,2 GiB Download, 2026-11-03
Serving-Durchsatz, imp gegen vLLM, NVFP4
imp v0.60.0vLLM 0.31.0, derselbe Checkpoint
Qwen3.8-27B32 Streamsimp v0.60.0: 1974,8 tok/s1974,8vLLM 0.31.0, derselbe Checkpoint: 1380,1 tok/s1380,1+43%Qwen3-14B8 Streams, 36-Tok-Promptsimp v0.60.0: 1236,5 tok/s1236,5vLLM 0.31.0, derselbe Checkpoint: 1086,5 tok/s1086,5+14%Qwen3-14B32 Streams, 38-Tok-Promptsimp v0.60.0: 4373,4 tok/s4373,4vLLM 0.31.0, derselbe Checkpoint: 4080,8 tok/s4080,8+7%Qwen3-14B32 Streams, 1000-Tok-Promptsimp v0.60.0: 2547,3 tok/s2547,3vLLM 0.31.0, derselbe Checkpoint: 2658,4 tok/s2658,4-4%010002000300040005000tok/s
Aggregierte Tokens pro Sekunde, beide Engines lesen denselben Checkpoint, frischer Server pro Arm, drei Durchläufe. Gemessen am 2026-10-31. Die unterste Zeile ist die Lücke: Bei 1000-Token-Prompts und 32 Streams liegt vLLM vorn, das kommt vom Prefill. Das ist ein Ergebnis für Consumer-Blackwell, keine Aussage über vLLM auf der Hardware, für die es gebaut ist. Nachmessen mit tools/analysis/engine3_conc.sh und tools/analysis/vllm_conc_ab.sh.
Nebenprojekt: axo, ein neuromorpher Lerner, der ohne Backpropagation trainiert

Meldungen der Anbieter

Offizielle Feeds, täglich neu gebaut: alle KI-News

Ankündigungen aus den offiziellen Feeds der Anbieter, ohne Ranking und unverändert. Alles oberhalb dieses Abschnitts ist eigene Arbeit.