# Wann sich KI auf dem eigenen Rechner lohnt
> Cloud-Chatbots sind bequem und schwer zu schlagen. Die engeren Gründe, ein Modell selbst zu betreiben, und was du dafür aufgibst.
Source: https://rfriedmann.de/de/blog/why-run-ai-locally/ · English: https://rfriedmann.de/blog/why-run-ai-locally/
Published: 2026-03-27 · Track: learn · Level: Beginner
Jedes Mal, wenn du einem Cloud-Chatbot eine Frage stellst, reisen deine Worte
übers Internet zu den Servern einer Firma, werden dort beantwortet und reisen
zurück. Das funktioniert gut, und für die meisten Leute ist das die meiste Zeit kaum
zu schlagen. Die Frage ist also nicht, ob es allgemein besser ist, das Modell selbst
zu betreiben. Sie ist enger: *wann sich dieser Tausch lohnt.*
Lokale KI: alles bleibt auf deinem Rechner
[diagram omitted — see the page for the chart]
Bei einem Cloud-Chatbot wandert dein Text zu den Servern einer Firma. Betreibst du das Modell selbst, verlässt nichts den Raum, in dem du sitzt. Das ist der Vorteil. Jetzt die ehrlichen Nachteile.
## Was du aufgibst
Ich baue [eine Engine, um Modelle lokal zu betreiben](https://github.com/kekzl/imp),
und die Argumente gegen den lokalen Betrieb sind trotzdem stark.
**Die Leistungslücke ist real, und sie ist kleiner geworden.** Die Modelle, die
die großen Labs anbieten, sind riesig, und bei anspruchsvollen Aufgaben, tiefem
Schlussfolgern, ernsthaftem Programmieren, langen Dokumenten, sind sie immer noch
besser als alles, was du zu Hause laufen lässt. Die Spitze lokal zu erreichen ist
keine Grafikkarte, sondern ein Rack voller Rechenzentrums-GPUs für Zehntausende
Euro, in der obersten Klasse weit über 100k. Auf einer einzelnen Consumer-Karte
laufen *kleine bis mittelgroße* Modelle. Im Lauf von 2026 sind die so gut
geworden, dass die besten von ihnen inzwischen gleichauf mit den gehosteten
Modellen der Mittelklasse liegen. Aber die Spitze ist immer noch einen klaren
Schritt voraus.
Machen wir es an einer Zahl fest. SWE-bench Pro lässt eine KI echte, gemeldete
GitHub-Issues beheben, also genau die Art Arbeit, bei der Leute tatsächlich Hilfe
wollen. (Der ältere Bruder, SWE-bench Verified, war im März in diesem Diagramm zu
sehen. Die Spitze erreicht darauf inzwischen 95 % und mehr, und keines der drei
großen Labs hat ihn noch in seine letzten Launch-Tabellen aufgenommen. Er
unterscheidet also nichts mehr.)
SWE-bench Pro: Anteil echter GitHub-Issues, die die KI löst
[diagram omitted — see the page for the chart]
Die grauen Balken sind offene Modelle, die auf eine einzelne Consumer-Karte passen. Qwen3.8-27B landet ein paar Punkte hinter dem Flaggschiff von OpenAI, vor Googles Flash und rund zwanzig Punkte hinter dem besten Claude, lässt also doppelt so viele Issues ungelöst. Herstellerangaben, Stand 3. September 2026, jeweils mit eigenem Harness. Claude Fable 5.1 sowie Gemini 3.7 und 3.8 Flash kamen ohne SWE-bench-Wert, deshalb stehen ihre Vorgänger hier. Die genauen Zahlen ändern sich jeden Monat; es geht um das Gesamtbild.
Jetzt das Kleingedruckte zum grauen Balken, denn es ist wichtig. Qwens 61,7 % sind
gemessen mit [Claude Code als Steuerung des Modells](https://huggingface.co/Qwen/Qwen3.8-27B),
also Anthropics eigenem Coding-Agent um Qwens Gewichte herum. Die Gewichte allein
beheben keine Issues, das Harness steuert, und seine Qualität verschiebt den Wert
enorm: Ein Forscher hat die Vorgängergeneration, Qwen3.6-27B, von offiziellen 77 %
auf SWE-bench Verified auf [etwa 90 %](https://github.com/QwenLM/Qwen3/discussions/1846)
gebracht, ohne ein einziges Gewicht zu ändern, rein durch die Entwicklung des
Agent-Stacks drumherum. Genau so einen Stack liefern dir die gehosteten Produkte
mit. Was uns zur zweiten Lücke bringt.
**Es geht nicht nur um das Modell, sondern um den ganzen Werkzeugkasten.** Dieser
Teil wird oft übersehen. Anthropic, Google, OpenAI und die anderen liefern
dir kein Modell, sie liefern eine Plattform drumherum: Websuche,
[Tool-Nutzung](/de/blog/what-is-an-ai-agent/), Code-Ausführung, riesige
Kontextfenster, Bilder und Audio, Retrieval über deine Dateien und ein Modell,
das sie alle paar Wochen aktualisieren. Betreibst du ein Modell zu Hause,
bekommst du die nackte Engine. Die Werkzeuge drumherum, den Teil, der das
gehostete Produkt bequem macht, baust und pflegst du selbst.
**„Einmal zahlen“ ist nicht die ganze Rechnung.** Eine eigene Karte wirkt pro Frage
kostenlos, aber die vollständigen Kosten umfassen die Hardware vorab, den Strom und
deine eigene Zeit fürs Einrichten und Am-Laufen-Halten. Bei leichter oder
gelegentlicher Nutzung ist die Abrechnung pro Frage in der Cloud schlicht
günstiger, und den Betrieb macht jemand anderes.
## Wann lokal die richtige Wahl ist
Nach all dem verdient sich lokale KI ihren Platz aus *bestimmten* Gründen, nicht
als allgemeiner Ersatz:
- **Datenschutz, bei dem es keine Kompromisse gibt.** Nicht „Das teile ich lieber
nicht“, sondern „Diese Daten dürfen nur unter Bedingungen raus, die du nicht erfüllen
kannst“: Gesundheitsdaten, Mandantenakten unter Berufsgeheimnis,
regulierte oder geheime Unterlagen. Wenn das die Regel ist,
ist lokal keine Vorliebe mehr, sondern die einzige Option.
- **Offline oder air-gapped.** Ein Flugzeug, ein Schiff, eine Hochsicherheitsanlage,
eine wacklige Verbindung. Kein erreichbarer Server heißt: Das Modell muss im Raum
sein.
- **Hohes, gleichmäßiges Volumen.** Wenn der Zähler den ganzen Tag, jeden Tag laufen
würde, kann eine Karte mit Fixkosten, die dir schon gehört, die Abrechnung pro
Frage schlagen, sobald du über dem Break-even bist.
- **Kontrolle und Stabilität.** Das Modell ändert nicht seinen Ton, wird nicht
restriktiver und wird dir nicht unter den Füßen abgeschaltet. Es gehört dir,
eingefroren, bis du etwas anderes entscheidest.
- **Lernen und Bauen.** Wenn du den Stack wirklich verstehen oder darauf aufbauen
willst, gibt es keinen Ersatz dafür, ihn selbst zu betreiben.
Cloud-Chatbot
Die größten, leistungsfähigsten Modelle
Ein kompletter Werkzeugkasten: Suche, Tools, Dateien, multimodal
Nichts einzurichten oder zu pflegen
Dein Text verlässt deinen Rechner
Zahlen pro Nutzung, für immer; kann sich unter dir ändern
Deine eigene GPU
Privat: Daten verlassen nie den Rechner, läuft offline
Fixkosten, du kontrollierst und passt an
Kleinere, weniger leistungsfähige Modelle als die Spitze
Den Werkzeugkasten drumherum baust du selbst
Echte Kosten für Hardware, Strom und Zeit
## Fazit
Für die meisten Leute und alltägliche Aufgaben sind die gehosteten Spitzenmodelle
die richtige Antwort, mit großem Abstand. Greif zu lokal, wenn du einen konkreten
Grund aus der Liste oben hast. Und dieselbe Abwägung gilt umso mehr,
sobald sich ein ganzes Team darauf verlässt, was ein eigener Post ist:
[ein LLM fürs Team selbst hosten, und warum du es meistens lassen solltest](/de/blog/self-hosting-an-llm-for-your-team/).
Bei [imp](https://github.com/kekzl/imp) ging es nie darum, Claude oder Gemini als
Chatbot zu schlagen. Ziel ist, die Fälle, in denen lokal die richtige Wahl ist,
Datenschutz, Volumen, offline, Kontrolle, auf einer bezahlbaren Karte tragfähig zu
machen, statt eines schlechten Kompromisses. Das ist ein engerer Anspruch
als „alles zu Hause betreiben“, und es ist der zutreffende. Wenn du sehen willst,
wie weit sich eine einzelne Consumer-Karte treiben lässt, fang an mit
[was ein LLM eigentlich ist](/de/blog/what-is-an-llm/), dann
[die Zahlen zum Tempo](/de/blog/serving-30b-models-rtx-5090/).