Einen KI-Anbieter auswählen: eine Checkliste für die IT
Was vor dem Vertrag mit einem KI-Anbieter geklärt sein muss: AVV und EU-Hosting, SSO und Audit-Logs, Abkündigung, Limits und SLAs, Preise, Zertifikate, Exit-Plan und ein Test mit eigener Arbeit.KI verstehenOps22. Nov 2026, 6 Min.Eine KI-Richtlinie für dein Unternehmen: eine Seite, an die man sich halten kann
Warum ein Verbot von KI-Tools die Nutzung nur auf private Konten verlagert und was eine einseitige Richtlinie regeln muss: Tools, Datenklassen, Prüfpflicht, Agenten, KI-Kompetenz. Mit Vorlage.KI verstehenOps21. Nov 2026, 10 Min.Was mit deinen Prompts beim Anbieter passiert
Training, Aufbewahrung, Abuse-Logs und EU-Hosting bei OpenAI, Anthropic, Google und Microsoft, Stand November 2026, und warum Consumer-Apps und Business-Tarife unterschiedlichen Regeln folgen.KI verstehenOps20. Nov 2026, 6 Min.Lokal oder API: was eine Million Tokens wirklich kostet
API-Preise pro Million Tokens gegen eine RTX 5090 für 7 700 Euro und 37,3 ct/kWh: die Rechnung, die Break-even-Mengen und warum ein einzelner Nutzer lokal am meisten zahlt.KI verstehenOps19. Nov 2026, 6 Min.Embeddings: wie aus Text eine Liste von Zahlen wird
Ein Embedding macht aus Text eine Liste von Zahlen, so dass ähnliche Bedeutung nah beieinander landet. Wie das Suche und RAG antreibt, wo es scheitert und was die Vektoren an Speicher kosten.KI verstehenEinstieg18. Nov 2026, 6 Min.Wie viel Strom braucht eine KI-Antwort?
Veröffentlichte Zahlen setzen eine Chatbot-Antwort bei 0,24 bis 0,34 Wh an. Was sie enthalten, warum sie so streuen, und meine RTX 5090: 0,115 Wh pro Antwort allein, 0,024 Wh geteilt durch 32.KI verstehenOps17. Nov 2026, 6 Min.KI und Recht: was DSGVO und AI Act von deinem Team verlangen
Bevor Mitarbeitende Arbeit in einen Chatbot kopieren, greifen zwei EU-Gesetze: die DSGVO für die Daten im Prompt, der AI Act für den Zweck des Systems. Was beide von einer IT-Abteilung verlangen, mit den Fristen auf dem Stand November 2026.KI verstehenOps8. Nov 2026, 7 Min.Fine-Tuning auf eigenen Daten, mit LoRA
Fine-Tuning ist das falsche Werkzeug für Fakten und das richtige für Stil, Format und enge Aufgaben. Wann es sich lohnt, wie LoRA es auf eine GPU bringt und welche Daten und Prüfungen du brauchst.KI verstehenOps8. Nov 2026, 6 Min.Wie ein Bildgenerator aus Rauschen ein Bild erzeugt
Ein Bildgenerator malt nicht und setzt keine Collage zusammen: Das Modell startet bei zufälligem Rauschen und entfernt es Schritt für Schritt, gelenkt von deinen Worten. Wie das funktioniert und warum es die verformten Hände erklärt.KI verstehenEinstieg8. Nov 2026, 7 Min.Wie ein Modell hört und spricht
Diktat, Besprechungsprotokolle, Sprachassistenten und geklonte Stimmen beruhen alle auf einer Idee: Klang wird zum Bild, dann zu Tokens. Wie Spracherkennung und Sprachsynthese funktionieren, wo sie versagen und worauf du bei der Arbeit achten solltest.KI verstehenEinstieg8. Nov 2026, 7 Min.Wann ein heruntergeladenes Modell sicher ist
Eine Modelldatei sieht aus wie eine Menge Zahlen, und manche Formate sind genau das. Andere führen Code aus, sobald du sie lädst. Welche Formate welche sind, was schon schiefgegangen ist und was ich prüfe, bevor ein Modell auf einen Arbeitsrechner kommt.KI verstehenOps8. Nov 2026, 6 Min.Offene Gewichte, Open Source und Modelllizenzen
Ein Modell, das du kostenlos herunterladen kannst, darfst du nicht automatisch für alles nutzen. Was „offen“ bei einem Modell heißt, welche Lizenzfamilien es gibt und fünf Fragen, bevor ein Modell in die Arbeit geht.KI verstehenEinstieg8. Nov 2026, 6 Min.MCP: ein Stecker für jedes Werkzeug, das ein Agent nutzt
Das Model Context Protocol ist der Weg, über den Werkzeuge, Dateien und Fachsysteme an einen KI-Assistenten angeschlossen werden. Was die Teile sind, wie ein Aufruf auf der Leitung aussieht und was ein IT-Team erlauben sollte, bevor jemand einen Server installiert.KI verstehenFortgeschritten8. Nov 2026, 6 Min.Urheberrecht und KI-Ausgaben: wem gehört, was das Modell schreibt
Ein generierter Text, ein Bild, eine Funktion: wem das gehört, ob es fremde Werke verletzen kann und wie es um die Daten steht, aus denen das Modell gelernt hat. Die Gerichtsfälle, die zählen, Stand November 2026, und praktische Regeln für ein Team.KI verstehenOps8. Nov 2026, 6 Min.Dein erstes lokales Modell, Schritt für Schritt
Von null bis zu einem Modell, das auf deinem eigenen Rechner antwortet: welche Größe du wählst, vier Befehle, wie du siehst, was es belegt, und wie du es wieder entfernst.KI verstehenEinstieg7. Nov 2026, 4 Min.Der Kernel, der nullmal lief
Ein Rewrite machte einen imp-Kernel bis zu 33 % schneller, und das Serving startet diesen Kernel nie. Vier Ergebnisse von einem Tag, die keinen Engine-Code geändert haben, und das Ledger, das dem nächsten Audit erspart, doppelt dafür zu zahlen.Das LogExperte6. Nov 2026, 9 Min.Warum ein Modell nicht weiß, was gestern passiert ist
Ein Modell kann Quantenphysik erklären und trotzdem das heutige Datum falsch nennen. Was ein Knowledge Cutoff ist, warum ein Modell schon am Erscheinungstag veraltet ist und wie du damit umgehst.KI verstehenEinstieg6. Nov 2026, 6 Min.Speculative Decoding, wenn sich die Chats überlappen
Qwen3.8-27B bringt seinen eigenen Draft-Head mit. In imp machte er einen einzelnen Chat 35 % schneller, und jeder weitere Chat oder Side-Request der UI schaltete ihn ab. Neun Änderungen später dekodieren vier überlappende Chats mit etwa 140 tok/s statt 84.Das LogExperte4. Nov 2026, 10 Min.Quantisierung lebt in den Skalierungsfaktoren
Drei imp-Fixes, die kein Gewichtsbit verändert haben: ein Block-Skalierungsfaktor, der auf null gerundet wurde, ein Aktivierungs-Skalierungsfaktor, den der Checkpoint schon mitbrachte, und ein FP8-Skalierungsfaktor, den sich K und V geteilt haben. Qwen3-30B-A3B Perplexity 11,3565 auf 10,9566.Das LogExperte4. Nov 2026, 7 Min.APA: schlampige Attention, exakt, wo es zählt
Ein Prefill-Kernel für die RTX 5090, der jedes Attention-Tile in FP4 rechnet, die 6 bis 10 %, die die Softmax-Masse tragen, exakt in FP16 nachrechnet und beides zusammenführt: 2,50x schneller als komplett exakt bei 122880 Keys.Das LogExperte28. Okt 2026, 11 Min.Wie ein kleines Modell von einem großen lernt
Viele der kleinen offenen Modelle, die du zu Hause laufen lassen kannst, wurden von einem größeren Modell unterrichtet, nicht nur vom Internet. Was Destillation ist, warum sie so gut funktioniert und was sie nicht weitergeben kann.KI verstehenEinstieg10. Okt 2026, 7 Min.Wie imp Qwen3.8-Flash-Next auf einer 32-GB-Karte betreibt
56 GiB Experten, 32 GB VRAM: alle Experten auf dem Host, ein von der GPU verwalteter Cache im VRAM und Decode von 5,8 auf 75-80 Tokens pro Sekunde auf echtem Text.Das LogExperte27. Sep 2026, 13 Min.Wie ein Modell jedes Mal gültiges JSON ausgibt
Nett fragen bringt dir fast immer gültiges JSON, und fast ist eine kaputte Integration. Die Lösung sitzt im Sampler: Streich jedes ungültige Token, bevor du samplest.Das LogExperte16. Sep 2026, 6 Min.Ein Modell an der eigenen Arbeit testen
Leaderboards messen die Leistung auf öffentlichen Benchmarks. Vierzig echte Fälle aus deinem eigenen Backlog, einheitlich bewertet, zeigen, wie ein Modell bei deiner Arbeit abschneidet.KI verstehenOps15. Sep 2026, 6 Min.Warum ein Modell nachdenkt, bevor es antwortet
Moderne Modelle schreiben seitenweise Rechenweg, bevor sie antworten. Dieses „Nachdenken“ ist mit Tokens erkaufte Rechenleistung: was es bringt, was es kostet, wann es verschwendet ist.KI verstehenEinstieg14. Sep 2026, 5 Min.Das Oracle, das du dir selbst baust
Dependabot hat fünf PRs gegen diese Site geöffnet, drei davon major. Keine Testsuite, also habe ich den Check selbst gebaut: die Site mit beiden Versionen rendern und das Ergebnis diffen.Das LogOps11. Aug 2026, 9 Min.Kein Oracle für eine Wiese
Ein Satz an Claude Opus 5, 1.922 Zeilen WebGL, eine Honigbiene im Gegenlicht, keine Zahl zum Prüfen. Was tritt an die Stelle eines Tests, wenn dein Auge der einzige Richter ist?Das LogFortgeschritten10. Aug 2026, 15 Min.Continuous Batching: wie eine GPU viele auf einmal bedient
Ein einzelner Decode-Stream verschwendet den Großteil der GPU. Bediene viele Requests auf einmal, teile jeden Durchlauf über die Gewichte und hör auf, auf das Ende des ganzen Batches zu warten.Das LogFortgeschritten24. Jun 2026, 5 Min.Prompt Injection: das Sicherheitsrisiko in LLM-Anwendungen
Sobald deine KI irgendetwas liest, das ein Angreifer beeinflussen kann, kann dieser Inhalt sie kapern. Eine vollständige Lösung gibt es nicht, nur Eindämmung: ein Briefing aus dem Betrieb.KI verstehenOps24. Jun 2026, 5 Min.Wie ein Modell ein Bild sieht
Du kannst einer modernen KI ein Foto geben und Fragen dazu stellen. Ein Sprachmodell versteht nur Tokens; so kommt Sehen in ein Modell, das nur Wörter kannte.KI verstehenEinstieg23. Jun 2026, 4 Min.Wie man einen Prompt schreibt: klare Anweisungen statt Spezialphrasen
Gutes Prompting sind klare Anweisungen an einen fähigen, wörtlich denkenden Assistenten ohne Gedächtnis, abgeleitet davon, wie das Modell funktioniert.KI verstehenEinstieg23. Jun 2026, 4 Min.Speculative Decoding: Lass ein kleines Modell raten
Decode ist bandbreitenbegrenzt, also liegen die Recheneinheiten der GPU meist brach. Speculative Decoding nutzt diese Rechenleistung, um geratene Tokens zu prüfen: gleiche Ausgabe, schneller.Das LogExperte22. Jun 2026, 5 Min.Was sich das Modell merkt: das Kontextfenster
Ein LLM hat kein Gedächtnis zwischen Nachrichten: Es liest bei jeder Runde das ganze Gespräch neu, und nur begrenzt viel passt hinein. Das ist das Kontextfenster.KI verstehenEinstieg22. Jun 2026, 5 Min.Ein LLM auf die eigenen Dokumente ansetzen (RAG)
Eine häufige Anfrage lautet „ein ChatGPT, das unsere internen Dokumente kennt“. Das ist RAG: einfacher als oft dargestellt, und die meiste Arbeit steckt in der Retrieval-Hälfte.KI verstehenOps21. Jun 2026, 6 Min.Warum Modelle sich Dinge ausdenken
Ein Modell liefert dir mit voller Überzeugung einen falschen Fakt, ein erfundenes Zitat oder eine Funktion, die es nicht gibt. Woher „Halluzinationen“ kommen und wie du damit umgehst.KI verstehenEinstieg20. Jun 2026, 5 Min.Warum du jedes Mal eine andere Antwort bekommst
Frag ein Modell zweimal dasselbe, und du bekommst womöglich zwei verschiedene Antworten. Das ist bewusstes gewichtetes Sampling, kein Fehler; ein einziger Regler bestimmt, wie stark die Antworten abweichen.KI verstehenEinstieg19. Jun 2026, 4 Min.Warum ein LLM die r in „strawberry“ falsch zählt
Bitte ein Spitzenmodell, die Buchstaben in einem Wort zu zählen, und es liegt oft daneben. Die Ursache ist kein Bug: Das Modell sieht überhaupt keine Buchstaben. Ein Rundgang durch Tokens.KI verstehenEinstieg18. Jun 2026, 5 Min.axo: Lernen ohne Backprop
Ein von Grund auf gebautes Spiking Neural Network in C++/CUDA auf einer RTX 5090, das mit lokalen Regeln lernt, ohne Backprop, und zu einem Wesen heranwächst, das jagen lernt.Das LogFortgeschritten17. Jun 2026, 7 Min.Eine Abhängigkeit bumpen, die du nicht lesen kannst
CUTLASS unter imps 4-Bit-Mathematik aktualisieren. In numerischem CUDA stürzt ein schlechter Bump nicht ab, er liefert falsche Zahlen. Du reviewst ihn nicht, du machst ihn überprüfbar.Das LogFortgeschritten17. Jun 2026, 8 Min.Wie ein Agent Werkzeuge und Gedächtnis nutzt
Die Schleife, eine Ebene tiefer: wie das Modell ein Werkzeug anfordert, warum sein ganzes Gedächtnis nur das wachsende Protokoll ist und warum lange mehrstufige Aufgaben zerfallen.KI verstehenFortgeschritten17. Jun 2026, 5 Min.Wann man einen Agent selbstständig handeln lässt: ein Blick aus dem Betrieb
Ein Agent, der handeln kann, kann auch falsch handeln. Nach zwanzig Jahren Systembetrieb: wie viel Autonomie ich einem gebe und welche Leitplanken sich lohnen.KI verstehenOps17. Jun 2026, 4 Min.Online Softmax und das Register, das sich nicht bewegen kann
FlashAttention auf der 5090 im Detail: wie Online Softmax ohne die riesige Score-Matrix auskommt und warum ein Output in Registern rohes mma.sync statt WMMA erzwingt.Das LogExperte17. Jun 2026, 4 Min.Was einer Consumer-RTX-5090 neben einer Rechenzentrums-GPU fehlt
Die 5090 und die B200 sind beide Blackwell, aber dem Consumer-Chip fehlen ganze Fähigkeiten. Was weg ist, was es kostet und warum sich Rechenzentrums-Code nicht portieren lässt.Das LogFortgeschritten17. Jun 2026, 5 Min.GGUF schneller dekodieren als llama.cpp auf einer 5090
imp dekodiert dichte GGUF-Modelle 37 bis 72 % schneller als llama.cpp auf einer 5090. Nicht weil llama.cpp naiv wäre: imp ist für einen einzigen Chip gebaut. Und wo es verliert.Das LogExperte16. Jun 2026, 4 Min.Was ein KI-Agent ist
Ein Agent ist ein Sprachmodell in einer Schleife, ausgestattet mit Werkzeugen, damit es Aktionen ausführen kann, statt sie nur zu beschreiben.KI verstehenEinstieg16. Jun 2026, 4 Min.KI, die kein LLM ist
Sprachmodelle sind eine Familie der KI unter mehreren. Ein Rundgang durch die anderen großen Familien, wofür jede da ist und wann ein LLM das falsche Werkzeug ist.KI verstehenEinstieg15. Jun 2026, 4 Min.NVFP4 auf Bit-Ebene
Alle anderen Posts sagen ‚4 Bit‘ und gehen weiter. Hier ist NVFP4 bis hinunter zu den vier Bits und zwei Skalierungsfaktoren, plus die zwei Blackwell-Instruktionen (cvt, mma), die es fliegen lassen.Das LogExperte15. Jun 2026, 3 Min.Pretraining, Fine-Tuning und RLHF
Ein frisch trainiertes Modell kann Text fortsetzen, antwortet dir aber nicht. Die drei Stufen, die daraus einen hilfreichen Assistenten machen, und welche du brauchst.KI verstehenFortgeschritten14. Jun 2026, 4 Min.Wann man KI nicht einsetzen sollte: ein Blick aus dem Betrieb
Wann der Griff zum LLM die falsche Wahl ist, und eine einfache Faustregel, um diese Fälle auseinanderzuhalten.KI verstehenOps14. Jun 2026, 2 Min.Wie ein Modell lernt: Training, einfach erklärt
Jedes LLM beginnt als zufälliges Rauschen und wird von einer einzigen Schleife geformt: raten, den Fehler messen, Milliarden Regler anstupsen. Wie Training funktioniert, und warum es teuer ist.KI verstehenEinstieg13. Jun 2026, 4 Min.Wenn das Modell kein Transformer ist: GDN und Mamba2
Nicht jedes LLM baut auf Attention auf. Gated DeltaNet und Mamba2 ersetzen die Score-Matrix durch eine Rekurrenz: konstanter Speicher und eine hartnäckige Präzisionsfrage.Das LogExperte13. Jun 2026, 4 Min.Ein eigenes LLM fürs Team betreiben: meistens nicht lohnend
Warum die meisten Teams kein eigenes Modell betreiben sollten: Die Fehlerquote eines kleinen Modells kostet mehr Arbeitszeit, als es an API-Gebühren spart. Und wo es trotzdem sinnvoll ist.KI verstehenOps12. Jun 2026, 4 Min.Drei Kernel für einen Chip, den das Ökosystem ausgelassen hat
FlashAttention-2 und NVFP4-GEMM von Grund auf für die RTX 5090 getunt, und was mir der Profiler beigebracht hat, als sich jede Lehrbuch-Optimierung als falsche Fährte erwies.Das LogExperte11. Jun 2026, 8 Min.LLMs im Terminal: die Liste eines Sysadmins
Die konkreten, alltäglichen Stellen, an denen sich ein LLM im Workflow eines Sysadmins seinen Platz verdient, und die paar Regeln, die Schaden verhindern.KI verstehenOps10. Jun 2026, 4 Min.Wie 97.000 Zeilen CUDA von einem KI-Agenten geschrieben wurden
Meine beiden imp-Posts enden mit ‚jede Zeile wurde von Claude Code geschrieben‘. Die Frage, die immer folgt: Wie funktioniert das eigentlich, und wie vertraust du dem?Das LogFortgeschritten9. Jun 2026, 6 Min.Was ein LLM in deiner Infrastruktur kann und was nicht
Zwanzig Jahre Systembetrieb, ein paar davon mit LLMs: wo KI einem Ops-Team hilft und wo sie ein Risiko ist.KI verstehenOps8. Jun 2026, 5 Min.30B-Modelle mit 300 tok/s auf einer einzelnen RTX 5090 betreiben
Warum keine bestehende Inference-Engine Consumer-Blackwell voll ausnutzt, was NVFP4 ändert, und die Zahlen aus dem Bau einer Engine, die es tut.Das LogFortgeschritten2. Jun 2026, 5 Min.Der KV-Cache und was langen Kontext wirklich begrenzt
Die Einsteigerversion nennt ihn Kurzzeitgedächtnis. In Wirklichkeit entscheidet der KV-Cache, nicht die Gewichte, wie lang dein Kontext wird und woran dir der Speicher ausgeht.Das LogFortgeschritten19. Mai 2026, 4 Min.Mixture of Experts: wie ein 30B-Modell läuft wie ein 3B-Modell
Die Bauweise hinter Qwen3-30B-A3B: das Modell in viele Experten aufteilen und pro Token nur wenige ausführen. Warum das zu einer GPU passt, und welchen technischen Aufwand es mitbringt.KI verstehenFortgeschritten12. Mai 2026, 3 Min.Prefill, Decode und die Roofline, die alles erklärt
Eine Inference-Engine hat nicht ein Tempo, sondern zwei, und die gehorchen entgegengesetzten Gesetzen. Die Roofline ist die nützlichste Linse, um über LLM-Leistung nachzudenken.Das LogFortgeschritten5. Mai 2026, 4 Min.Wie imp aus einer Modelldatei Wörter macht
Ein Rundgang in einfacher Sprache durch das Innere einer KI-Engine: wie ein Modell geladen wird und welche Schritte jede Nachricht durchläuft, um als Text zurückzukommen.Das LogEinstieg28. Apr 2026, 5 Min.Wie man Namen und Specs eines Modells liest
Modellnamen wie Qwen3-30B-A3B-Q4_K_M wirken auf den ersten Blick kryptisch. So entschlüsselst du sie, plus die paar Specs, auf die es ankommt.KI verstehenEinstieg17. Apr 2026, 2 Min.Wie ein Modell mit 30 Milliarden Parametern auf eine Karte passt
Quantisierung einfach erklärt: wie das Speichern jeder Zahl im Modell mit weniger Bits ein großes Modell auf eine Desktop-Grafikkarte bringt, und was das kostet.KI verstehenEinstieg10. Apr 2026, 2 Min.Was eine GPU ist, und warum KI eine braucht
Warum KI betreiben heißt, eine Grafikkarte zu kaufen, was eine GPU von einer CPU unterscheidet und warum der Speicher auf der Karte die wichtigste Zahl ist.KI verstehenEinstieg3. Apr 2026, 2 Min.Wann sich KI auf dem eigenen Rechner lohnt
Cloud-Chatbots sind bequem und schwer zu schlagen. Die engeren Gründe, ein Modell selbst zu betreiben, und was du dafür aufgibst.KI verstehenEinstieg27. Mär 2026, 5 Min.Was ein LLM ist und wie daraus Wörter entstehen
Große Sprachmodelle ohne Fachjargon erklärt: was sie sind, warum sie im Grunde eine sehr gute Autovervollständigung sind und wie sie Wort für Wort schreiben.KI verstehenEinstieg19. Mär 2026, 5 Min.