# Raphael Friedmann - KI-Infrastruktur > CUDA-Inferenz auf Consumer-GPUs mit NVIDIA Blackwell. imp ist eine von Grund auf gebaute Engine, die Modelle der 30B-Klasse mit rund 350 Tokens pro Sekunde auf einer einzelnen RTX 5090 dekodiert, dazu ein Kurs, der KI von Grund auf erklärt. Grundlage sind zwanzig Jahre Infrastrukturerfahrung. Jeder Artikel ist auch als sauberes Markdown verfügbar: `.md` an die URL anhängen (zum Beispiel https://rfriedmann.de/de/blog/how-to-prompt.md). Die englische Fassung dieses Index liegt unter https://rfriedmann.de/llms.txt. ## Das Log - [Der Kernel, der nullmal lief](https://rfriedmann.de/de/blog/the-kernel-that-ran-zero-times/): Ein Rewrite machte einen imp-Kernel bis zu 33 % schneller, und das Serving startet diesen Kernel nie. Vier Ergebnisse von einem Tag, die keinen Engine-Code geändert haben, und das Ledger, das dem nächsten Audit erspart, doppelt dafür zu zahlen. - [Speculative Decoding, wenn sich die Chats überlappen](https://rfriedmann.de/de/blog/mtp-when-chats-overlap/): Qwen3.8-27B bringt seinen eigenen Draft-Head mit. In imp machte er einen einzelnen Chat 35 % schneller, und jeder weitere Chat oder Side-Request der UI schaltete ihn ab. Neun Änderungen später dekodieren vier überlappende Chats mit etwa 140 tok/s statt 84. - [Quantisierung lebt in den Skalierungsfaktoren](https://rfriedmann.de/de/blog/quantization-lives-in-the-scales/): Drei imp-Fixes, die kein Gewichtsbit verändert haben: ein Block-Skalierungsfaktor, der auf null gerundet wurde, ein Aktivierungs-Skalierungsfaktor, den der Checkpoint schon mitbrachte, und ein FP8-Skalierungsfaktor, den sich K und V geteilt haben. Qwen3-30B-A3B Perplexity 11,3565 auf 10,9566. - [APA: schlampige Attention, exakt, wo es zählt](https://rfriedmann.de/de/blog/apa-adaptive-precision-attention/): Ein Prefill-Kernel für die RTX 5090, der jedes Attention-Tile in FP4 rechnet, die 6 bis 10 %, die die Softmax-Masse tragen, exakt in FP16 nachrechnet und beides zusammenführt: 2,50x schneller als komplett exakt bei 122880 Keys. - [Wie imp Qwen3.8-Flash-Next auf einer 32-GB-Karte betreibt](https://rfriedmann.de/de/blog/flash-next-on-a-32gb-card/): 56 GiB Experten, 32 GB VRAM: alle Experten auf dem Host, ein von der GPU verwalteter Cache im VRAM und Decode von 5,8 auf 75-80 Tokens pro Sekunde auf echtem Text. - [Wie ein Modell jedes Mal gültiges JSON ausgibt](https://rfriedmann.de/de/blog/constrained-decoding-valid-json/): Nett fragen bringt dir fast immer gültiges JSON, und fast ist eine kaputte Integration. Die Lösung sitzt im Sampler: Streich jedes ungültige Token, bevor du samplest. - [Das Oracle, das du dir selbst baust](https://rfriedmann.de/de/blog/the-oracle-you-build-yourself/): Dependabot hat fünf PRs gegen diese Site geöffnet, drei davon major. Keine Testsuite, also habe ich den Check selbst gebaut: die Site mit beiden Versionen rendern und das Ergebnis diffen. - [Kein Oracle für eine Wiese](https://rfriedmann.de/de/blog/no-oracle-for-a-meadow/): Ein Satz an Claude Opus 5, 1.922 Zeilen WebGL, eine Honigbiene im Gegenlicht, keine Zahl zum Prüfen. Was tritt an die Stelle eines Tests, wenn dein Auge der einzige Richter ist? - [Continuous Batching: wie eine GPU viele auf einmal bedient](https://rfriedmann.de/de/blog/continuous-batching/): Ein einzelner Decode-Stream verschwendet den Großteil der GPU. Bediene viele Requests auf einmal, teile jeden Durchlauf über die Gewichte und hör auf, auf das Ende des ganzen Batches zu warten. - [Speculative Decoding: Lass ein kleines Modell raten](https://rfriedmann.de/de/blog/speculative-decoding/): Decode ist bandbreitenbegrenzt, also liegen die Recheneinheiten der GPU meist brach. Speculative Decoding nutzt diese Rechenleistung, um geratene Tokens zu prüfen: gleiche Ausgabe, schneller. - [axo: Lernen ohne Backprop](https://rfriedmann.de/de/blog/axo-learning-without-backprop/): Ein von Grund auf gebautes Spiking Neural Network in C++/CUDA auf einer RTX 5090, das mit lokalen Regeln lernt, ohne Backprop, und zu einem Wesen heranwächst, das jagen lernt. - [Eine Abhängigkeit bumpen, die du nicht lesen kannst](https://rfriedmann.de/de/blog/bumping-a-dependency-you-cant-read/): CUTLASS unter imps 4-Bit-Mathematik aktualisieren. In numerischem CUDA stürzt ein schlechter Bump nicht ab, er liefert falsche Zahlen. Du reviewst ihn nicht, du machst ihn überprüfbar. - [Online Softmax und das Register, das sich nicht bewegen kann](https://rfriedmann.de/de/blog/online-softmax-and-flashattention/): FlashAttention auf der 5090 im Detail: wie Online Softmax ohne die riesige Score-Matrix auskommt und warum ein Output in Registern rohes mma.sync statt WMMA erzwingt. - [Was einer Consumer-RTX-5090 neben einer Rechenzentrums-GPU fehlt](https://rfriedmann.de/de/blog/what-the-5090-lacks-vs-datacenter/): Die 5090 und die B200 sind beide Blackwell, aber dem Consumer-Chip fehlen ganze Fähigkeiten. Was weg ist, was es kostet und warum sich Rechenzentrums-Code nicht portieren lässt. - [GGUF schneller dekodieren als llama.cpp auf einer 5090](https://rfriedmann.de/de/blog/gguf-decode-beats-llama-cpp/): imp dekodiert dichte GGUF-Modelle 37 bis 72 % schneller als llama.cpp auf einer 5090. Nicht weil llama.cpp naiv wäre: imp ist für einen einzigen Chip gebaut. Und wo es verliert. - [NVFP4 auf Bit-Ebene](https://rfriedmann.de/de/blog/nvfp4-at-the-bit-level/): Alle anderen Posts sagen ‚4 Bit‘ und gehen weiter. Hier ist NVFP4 bis hinunter zu den vier Bits und zwei Skalierungsfaktoren, plus die zwei Blackwell-Instruktionen (cvt, mma), die es fliegen lassen. - [Wenn das Modell kein Transformer ist: GDN und Mamba2](https://rfriedmann.de/de/blog/when-the-model-is-not-a-transformer/): Nicht jedes LLM baut auf Attention auf. Gated DeltaNet und Mamba2 ersetzen die Score-Matrix durch eine Rekurrenz: konstanter Speicher und eine hartnäckige Präzisionsfrage. - [Drei Kernel für einen Chip, den das Ökosystem ausgelassen hat](https://rfriedmann.de/de/blog/optimizing-kernels-consumer-blackwell/): FlashAttention-2 und NVFP4-GEMM von Grund auf für die RTX 5090 getunt, und was mir der Profiler beigebracht hat, als sich jede Lehrbuch-Optimierung als falsche Fährte erwies. - [Wie 97.000 Zeilen CUDA von einem KI-Agenten geschrieben wurden](https://rfriedmann.de/de/blog/writing-cuda-with-an-agent/): Meine beiden imp-Posts enden mit ‚jede Zeile wurde von Claude Code geschrieben‘. Die Frage, die immer folgt: Wie funktioniert das eigentlich, und wie vertraust du dem? - [30B-Modelle mit 300 tok/s auf einer einzelnen RTX 5090 betreiben](https://rfriedmann.de/de/blog/serving-30b-models-rtx-5090/): Warum keine bestehende Inference-Engine Consumer-Blackwell voll ausnutzt, was NVFP4 ändert, und die Zahlen aus dem Bau einer Engine, die es tut. - [Der KV-Cache und was langen Kontext wirklich begrenzt](https://rfriedmann.de/de/blog/kv-cache-and-long-context/): Die Einsteigerversion nennt ihn Kurzzeitgedächtnis. In Wirklichkeit entscheidet der KV-Cache, nicht die Gewichte, wie lang dein Kontext wird und woran dir der Speicher ausgeht. - [Prefill, Decode und die Roofline, die alles erklärt](https://rfriedmann.de/de/blog/prefill-vs-decode-roofline/): Eine Inference-Engine hat nicht ein Tempo, sondern zwei, und die gehorchen entgegengesetzten Gesetzen. Die Roofline ist die nützlichste Linse, um über LLM-Leistung nachzudenken. - [Wie imp aus einer Modelldatei Wörter macht](https://rfriedmann.de/de/blog/how-imp-works-model-to-token/): Ein Rundgang in einfacher Sprache durch das Innere einer KI-Engine: wie ein Modell geladen wird und welche Schritte jede Nachricht durchläuft, um als Text zurückzukommen. ## KI verstehen - [Was ein LLM ist und wie daraus Wörter entstehen](https://rfriedmann.de/de/blog/what-is-an-llm/): Große Sprachmodelle ohne Fachjargon erklärt: was sie sind, warum sie im Grunde eine sehr gute Autovervollständigung sind und wie sie Wort für Wort schreiben. - [Wann sich KI auf dem eigenen Rechner lohnt](https://rfriedmann.de/de/blog/why-run-ai-locally/): Cloud-Chatbots sind bequem und schwer zu schlagen. Die engeren Gründe, ein Modell selbst zu betreiben, und was du dafür aufgibst. - [Was eine GPU ist, und warum KI eine braucht](https://rfriedmann.de/de/blog/what-is-a-gpu/): Warum KI betreiben heißt, eine Grafikkarte zu kaufen, was eine GPU von einer CPU unterscheidet und warum der Speicher auf der Karte die wichtigste Zahl ist. - [Wie ein Modell mit 30 Milliarden Parametern auf eine Karte passt](https://rfriedmann.de/de/blog/how-a-big-model-fits-on-one-card/): Quantisierung einfach erklärt: wie das Speichern jeder Zahl im Modell mit weniger Bits ein großes Modell auf eine Desktop-Grafikkarte bringt, und was das kostet. - [Wie man Namen und Specs eines Modells liest](https://rfriedmann.de/de/blog/reading-model-specs/): Modellnamen wie Qwen3-30B-A3B-Q4_K_M wirken auf den ersten Blick kryptisch. So entschlüsselst du sie, plus die paar Specs, auf die es ankommt. - [Dein erstes lokales Modell, Schritt für Schritt](https://rfriedmann.de/de/blog/your-first-local-model/): Von null bis zu einem Modell, das auf deinem eigenen Rechner antwortet: welche Größe du wählst, vier Befehle, wie du siehst, was es belegt, und wie du es wieder entfernst. - [Offene Gewichte, Open Source und Modelllizenzen](https://rfriedmann.de/de/blog/open-weights-and-licenses/): Ein Modell, das du kostenlos herunterladen kannst, darfst du nicht automatisch für alles nutzen. Was „offen“ bei einem Modell heißt, welche Lizenzfamilien es gibt und fünf Fragen, bevor ein Modell in die Arbeit geht. - [Mixture of Experts: wie ein 30B-Modell läuft wie ein 3B-Modell](https://rfriedmann.de/de/blog/mixture-of-experts-explained/): Die Bauweise hinter Qwen3-30B-A3B: das Modell in viele Experten aufteilen und pro Token nur wenige ausführen. Warum das zu einer GPU passt, und welchen technischen Aufwand es mitbringt. - [Wie ein Modell lernt: Training, einfach erklärt](https://rfriedmann.de/de/blog/how-a-model-learns/): Jedes LLM beginnt als zufälliges Rauschen und wird von einer einzigen Schleife geformt: raten, den Fehler messen, Milliarden Regler anstupsen. Wie Training funktioniert, und warum es teuer ist. - [Pretraining, Fine-Tuning und RLHF](https://rfriedmann.de/de/blog/pretraining-finetuning-rlhf/): Ein frisch trainiertes Modell kann Text fortsetzen, antwortet dir aber nicht. Die drei Stufen, die daraus einen hilfreichen Assistenten machen, und welche du brauchst. - [Wie ein kleines Modell von einem großen lernt](https://rfriedmann.de/de/blog/how-small-models-learn-from-big-ones/): Viele der kleinen offenen Modelle, die du zu Hause laufen lassen kannst, wurden von einem größeren Modell unterrichtet, nicht nur vom Internet. Was Destillation ist, warum sie so gut funktioniert und was sie nicht weitergeben kann. - [KI, die kein LLM ist](https://rfriedmann.de/de/blog/ai-that-isnt-an-llm/): Sprachmodelle sind eine Familie der KI unter mehreren. Ein Rundgang durch die anderen großen Familien, wofür jede da ist und wann ein LLM das falsche Werkzeug ist. - [Was ein KI-Agent ist](https://rfriedmann.de/de/blog/what-is-an-ai-agent/): Ein Agent ist ein Sprachmodell in einer Schleife, ausgestattet mit Werkzeugen, damit es Aktionen ausführen kann, statt sie nur zu beschreiben. - [Wie ein Agent Werkzeuge und Gedächtnis nutzt](https://rfriedmann.de/de/blog/how-an-agent-uses-tools-and-memory/): Die Schleife, eine Ebene tiefer: wie das Modell ein Werkzeug anfordert, warum sein ganzes Gedächtnis nur das wachsende Protokoll ist und warum lange mehrstufige Aufgaben zerfallen. - [MCP: ein Stecker für jedes Werkzeug, das ein Agent nutzt](https://rfriedmann.de/de/blog/what-is-mcp/): Das Model Context Protocol ist der Weg, über den Werkzeuge, Dateien und Fachsysteme an einen KI-Assistenten angeschlossen werden. Was die Teile sind, wie ein Aufruf auf der Leitung aussieht und was ein IT-Team erlauben sollte, bevor jemand einen Server installiert. - [Warum ein LLM die r in „strawberry“ falsch zählt](https://rfriedmann.de/de/blog/why-models-cant-spell/): Bitte ein Spitzenmodell, die Buchstaben in einem Wort zu zählen, und es liegt oft daneben. Die Ursache ist kein Bug: Das Modell sieht überhaupt keine Buchstaben. Ein Rundgang durch Tokens. - [Warum du jedes Mal eine andere Antwort bekommst](https://rfriedmann.de/de/blog/why-different-answers/): Frag ein Modell zweimal dasselbe, und du bekommst womöglich zwei verschiedene Antworten. Das ist bewusstes gewichtetes Sampling, kein Fehler; ein einziger Regler bestimmt, wie stark die Antworten abweichen. - [Warum Modelle sich Dinge ausdenken](https://rfriedmann.de/de/blog/why-models-make-things-up/): Ein Modell liefert dir mit voller Überzeugung einen falschen Fakt, ein erfundenes Zitat oder eine Funktion, die es nicht gibt. Woher „Halluzinationen“ kommen und wie du damit umgehst. - [Warum ein Modell nicht weiß, was gestern passiert ist](https://rfriedmann.de/de/blog/why-models-dont-know-yesterday/): Ein Modell kann Quantenphysik erklären und trotzdem das heutige Datum falsch nennen. Was ein Knowledge Cutoff ist, warum ein Modell schon am Erscheinungstag veraltet ist und wie du damit umgehst. - [Was sich das Modell merkt: das Kontextfenster](https://rfriedmann.de/de/blog/the-context-window/): Ein LLM hat kein Gedächtnis zwischen Nachrichten: Es liest bei jeder Runde das ganze Gespräch neu, und nur begrenzt viel passt hinein. Das ist das Kontextfenster. - [Embeddings: wie aus Text eine Liste von Zahlen wird](https://rfriedmann.de/de/blog/embeddings-explained/): Ein Embedding macht aus Text eine Liste von Zahlen, so dass ähnliche Bedeutung nah beieinander landet. Wie das Suche und RAG antreibt, wo es scheitert und was die Vektoren an Speicher kosten. - [Wie ein Modell ein Bild sieht](https://rfriedmann.de/de/blog/how-models-see-images/): Du kannst einer modernen KI ein Foto geben und Fragen dazu stellen. Ein Sprachmodell versteht nur Tokens; so kommt Sehen in ein Modell, das nur Wörter kannte. - [Wie ein Bildgenerator aus Rauschen ein Bild erzeugt](https://rfriedmann.de/de/blog/how-image-generators-work/): Ein Bildgenerator malt nicht und setzt keine Collage zusammen: Das Modell startet bei zufälligem Rauschen und entfernt es Schritt für Schritt, gelenkt von deinen Worten. Wie das funktioniert und warum es die verformten Hände erklärt. - [Wie ein Modell hört und spricht](https://rfriedmann.de/de/blog/how-models-hear-and-speak/): Diktat, Besprechungsprotokolle, Sprachassistenten und geklonte Stimmen beruhen alle auf einer Idee: Klang wird zum Bild, dann zu Tokens. Wie Spracherkennung und Sprachsynthese funktionieren, wo sie versagen und worauf du bei der Arbeit achten solltest. - [Warum ein Modell nachdenkt, bevor es antwortet](https://rfriedmann.de/de/blog/why-models-think-before-answering/): Moderne Modelle schreiben seitenweise Rechenweg, bevor sie antworten. Dieses „Nachdenken“ ist mit Tokens erkaufte Rechenleistung: was es bringt, was es kostet, wann es verschwendet ist. - [Wie man einen Prompt schreibt: klare Anweisungen statt Spezialphrasen](https://rfriedmann.de/de/blog/how-to-prompt/): Gutes Prompting sind klare Anweisungen an einen fähigen, wörtlich denkenden Assistenten ohne Gedächtnis, abgeleitet davon, wie das Modell funktioniert. - [Was ein LLM in deiner Infrastruktur kann und was nicht](https://rfriedmann.de/de/blog/llms-in-your-infrastructure/): Zwanzig Jahre Systembetrieb, ein paar davon mit LLMs: wo KI einem Ops-Team hilft und wo sie ein Risiko ist. - [LLMs im Terminal: die Liste eines Sysadmins](https://rfriedmann.de/de/blog/llms-in-the-terminal/): Die konkreten, alltäglichen Stellen, an denen sich ein LLM im Workflow eines Sysadmins seinen Platz verdient, und die paar Regeln, die Schaden verhindern. - [Ein eigenes LLM fürs Team betreiben: meistens nicht lohnend](https://rfriedmann.de/de/blog/self-hosting-an-llm-for-your-team/): Warum die meisten Teams kein eigenes Modell betreiben sollten: Die Fehlerquote eines kleinen Modells kostet mehr Arbeitszeit, als es an API-Gebühren spart. Und wo es trotzdem sinnvoll ist. - [Wie viel Strom braucht eine KI-Antwort?](https://rfriedmann.de/de/blog/energy-per-ai-answer/): Veröffentlichte Zahlen setzen eine Chatbot-Antwort bei 0,24 bis 0,34 Wh an. Was sie enthalten, warum sie so streuen, und meine RTX 5090: 0,115 Wh pro Antwort allein, 0,024 Wh geteilt durch 32. - [Lokal oder API: was eine Million Tokens wirklich kostet](https://rfriedmann.de/de/blog/local-or-api-what-tokens-cost/): API-Preise pro Million Tokens gegen eine RTX 5090 für 7 700 Euro und 37,3 ct/kWh: die Rechnung, die Break-even-Mengen und warum ein einzelner Nutzer lokal am meisten zahlt. - [Wann man KI nicht einsetzen sollte: ein Blick aus dem Betrieb](https://rfriedmann.de/de/blog/when-not-to-use-ai/): Wann der Griff zum LLM die falsche Wahl ist, und eine einfache Faustregel, um diese Fälle auseinanderzuhalten. - [Eine KI-Richtlinie für dein Unternehmen: eine Seite, an die man sich halten kann](https://rfriedmann.de/de/blog/an-ai-policy-for-your-company/): Warum ein Verbot von KI-Tools die Nutzung nur auf private Konten verlagert und was eine einseitige Richtlinie regeln muss: Tools, Datenklassen, Prüfpflicht, Agenten, KI-Kompetenz. Mit Vorlage. - [Wann man einen Agent selbstständig handeln lässt: ein Blick aus dem Betrieb](https://rfriedmann.de/de/blog/letting-an-agent-loose/): Ein Agent, der handeln kann, kann auch falsch handeln. Nach zwanzig Jahren Systembetrieb: wie viel Autonomie ich einem gebe und welche Leitplanken sich lohnen. - [Ein LLM auf die eigenen Dokumente ansetzen (RAG)](https://rfriedmann.de/de/blog/your-own-documents/): Eine häufige Anfrage lautet „ein ChatGPT, das unsere internen Dokumente kennt“. Das ist RAG: einfacher als oft dargestellt, und die meiste Arbeit steckt in der Retrieval-Hälfte. - [Fine-Tuning auf eigenen Daten, mit LoRA](https://rfriedmann.de/de/blog/fine-tuning-with-lora/): Fine-Tuning ist das falsche Werkzeug für Fakten und das richtige für Stil, Format und enge Aufgaben. Wann es sich lohnt, wie LoRA es auf eine GPU bringt und welche Daten und Prüfungen du brauchst. - [Was mit deinen Prompts beim Anbieter passiert](https://rfriedmann.de/de/blog/what-happens-to-your-prompts/): Training, Aufbewahrung, Abuse-Logs und EU-Hosting bei OpenAI, Anthropic, Google und Microsoft, Stand November 2026, und warum Consumer-Apps und Business-Tarife unterschiedlichen Regeln folgen. - [KI und Recht: was DSGVO und AI Act von deinem Team verlangen](https://rfriedmann.de/de/blog/ai-and-the-law-gdpr-ai-act/): Bevor Mitarbeitende Arbeit in einen Chatbot kopieren, greifen zwei EU-Gesetze: die DSGVO für die Daten im Prompt, der AI Act für den Zweck des Systems. Was beide von einer IT-Abteilung verlangen, mit den Fristen auf dem Stand November 2026. - [Urheberrecht und KI-Ausgaben: wem gehört, was das Modell schreibt](https://rfriedmann.de/de/blog/who-owns-ai-output/): Ein generierter Text, ein Bild, eine Funktion: wem das gehört, ob es fremde Werke verletzen kann und wie es um die Daten steht, aus denen das Modell gelernt hat. Die Gerichtsfälle, die zählen, Stand November 2026, und praktische Regeln für ein Team. - [Prompt Injection: das Sicherheitsrisiko in LLM-Anwendungen](https://rfriedmann.de/de/blog/prompt-injection/): Sobald deine KI irgendetwas liest, das ein Angreifer beeinflussen kann, kann dieser Inhalt sie kapern. Eine vollständige Lösung gibt es nicht, nur Eindämmung: ein Briefing aus dem Betrieb. - [Wann ein heruntergeladenes Modell sicher ist](https://rfriedmann.de/de/blog/is-a-downloaded-model-safe/): Eine Modelldatei sieht aus wie eine Menge Zahlen, und manche Formate sind genau das. Andere führen Code aus, sobald du sie lädst. Welche Formate welche sind, was schon schiefgegangen ist und was ich prüfe, bevor ein Modell auf einen Arbeitsrechner kommt. - [Ein Modell an der eigenen Arbeit testen](https://rfriedmann.de/de/blog/testing-a-model-on-your-own-work/): Leaderboards messen die Leistung auf öffentlichen Benchmarks. Vierzig echte Fälle aus deinem eigenen Backlog, einheitlich bewertet, zeigen, wie ein Modell bei deiner Arbeit abschneidet. - [Einen KI-Anbieter auswählen: eine Checkliste für die IT](https://rfriedmann.de/de/blog/choosing-an-ai-provider/): Was vor dem Vertrag mit einem KI-Anbieter geklärt sein muss: AVV und EU-Hosting, SSO und Audit-Logs, Abkündigung, Limits und SLAs, Preise, Zertifikate, Exit-Plan und ein Test mit eigener Arbeit. ## Optional - [Vorlage: KI-Richtlinie auf einer Seite (Markdown)](https://rfriedmann.de/de/ai-policy.md) - [Alle Artikel in einer Datei (Englisch)](https://rfriedmann.de/llms-full.txt) - [RSS-Feed](https://rfriedmann.de/de/rss.xml) - [imp auf GitHub](https://github.com/kekzl/imp)