Wann sich KI auf dem eigenen Rechner lohnt
Cloud-Chatbots sind bequem und schwer zu schlagen. Die engeren Gründe, ein Modell selbst zu betreiben, und was du dafür aufgibst.
Jedes Mal, wenn du einem Cloud-Chatbot eine Frage stellst, reisen deine Worte übers Internet zu den Servern einer Firma, werden dort beantwortet und reisen zurück. Das funktioniert gut, und für die meisten Leute ist das die meiste Zeit kaum zu schlagen. Die Frage ist also nicht, ob es allgemein besser ist, das Modell selbst zu betreiben. Sie ist enger: wann sich dieser Tausch lohnt.
Was du aufgibst#
Ich baue eine Engine, um Modelle lokal zu betreiben, und die Argumente gegen den lokalen Betrieb sind trotzdem stark.
Die Leistungslücke ist real, und sie ist kleiner geworden. Die Modelle, die die großen Labs anbieten, sind riesig, und bei anspruchsvollen Aufgaben, tiefem Schlussfolgern, ernsthaftem Programmieren, langen Dokumenten, sind sie immer noch besser als alles, was du zu Hause laufen lässt. Die Spitze lokal zu erreichen ist keine Grafikkarte, sondern ein Rack voller Rechenzentrums-GPUs für Zehntausende Euro, in der obersten Klasse weit über 100k. Auf einer einzelnen Consumer-Karte laufen kleine bis mittelgroße Modelle. Im Lauf von 2026 sind die so gut geworden, dass die besten von ihnen inzwischen gleichauf mit den gehosteten Modellen der Mittelklasse liegen. Aber die Spitze ist immer noch einen klaren Schritt voraus.
Machen wir es an einer Zahl fest. SWE-bench Pro lässt eine KI echte, gemeldete GitHub-Issues beheben, also genau die Art Arbeit, bei der Leute tatsächlich Hilfe wollen. (Der ältere Bruder, SWE-bench Verified, war im März in diesem Diagramm zu sehen. Die Spitze erreicht darauf inzwischen 95 % und mehr, und keines der drei großen Labs hat ihn noch in seine letzten Launch-Tabellen aufgenommen. Er unterscheidet also nichts mehr.)
Jetzt das Kleingedruckte zum grauen Balken, denn es ist wichtig. Qwens 61,7 % sind gemessen mit Claude Code als Steuerung des Modells, also Anthropics eigenem Coding-Agent um Qwens Gewichte herum. Die Gewichte allein beheben keine Issues, das Harness steuert, und seine Qualität verschiebt den Wert enorm: Ein Forscher hat die Vorgängergeneration, Qwen3.6-27B, von offiziellen 77 % auf SWE-bench Verified auf etwa 90 % gebracht, ohne ein einziges Gewicht zu ändern, rein durch die Entwicklung des Agent-Stacks drumherum. Genau so einen Stack liefern dir die gehosteten Produkte mit. Was uns zur zweiten Lücke bringt.
Es geht nicht nur um das Modell, sondern um den ganzen Werkzeugkasten. Dieser Teil wird oft übersehen. Anthropic, Google, OpenAI und die anderen liefern dir kein Modell, sie liefern eine Plattform drumherum: Websuche, Tool-Nutzung, Code-Ausführung, riesige Kontextfenster, Bilder und Audio, Retrieval über deine Dateien und ein Modell, das sie alle paar Wochen aktualisieren. Betreibst du ein Modell zu Hause, bekommst du die nackte Engine. Die Werkzeuge drumherum, den Teil, der das gehostete Produkt bequem macht, baust und pflegst du selbst.
„Einmal zahlen“ ist nicht die ganze Rechnung. Eine eigene Karte wirkt pro Frage kostenlos, aber die vollständigen Kosten umfassen die Hardware vorab, den Strom und deine eigene Zeit fürs Einrichten und Am-Laufen-Halten. Bei leichter oder gelegentlicher Nutzung ist die Abrechnung pro Frage in der Cloud schlicht günstiger, und den Betrieb macht jemand anderes.
Wann lokal die richtige Wahl ist#
Nach all dem verdient sich lokale KI ihren Platz aus bestimmten Gründen, nicht als allgemeiner Ersatz:
- Datenschutz, bei dem es keine Kompromisse gibt. Nicht „Das teile ich lieber nicht“, sondern „Diese Daten dürfen nur unter Bedingungen raus, die du nicht erfüllen kannst“: Gesundheitsdaten, Mandantenakten unter Berufsgeheimnis, regulierte oder geheime Unterlagen. Wenn das die Regel ist, ist lokal keine Vorliebe mehr, sondern die einzige Option.
- Offline oder air-gapped. Ein Flugzeug, ein Schiff, eine Hochsicherheitsanlage, eine wacklige Verbindung. Kein erreichbarer Server heißt: Das Modell muss im Raum sein.
- Hohes, gleichmäßiges Volumen. Wenn der Zähler den ganzen Tag, jeden Tag laufen würde, kann eine Karte mit Fixkosten, die dir schon gehört, die Abrechnung pro Frage schlagen, sobald du über dem Break-even bist.
- Kontrolle und Stabilität. Das Modell ändert nicht seinen Ton, wird nicht restriktiver und wird dir nicht unter den Füßen abgeschaltet. Es gehört dir, eingefroren, bis du etwas anderes entscheidest.
- Lernen und Bauen. Wenn du den Stack wirklich verstehen oder darauf aufbauen willst, gibt es keinen Ersatz dafür, ihn selbst zu betreiben.
Cloud-Chatbot
- Die größten, leistungsfähigsten Modelle
- Ein kompletter Werkzeugkasten: Suche, Tools, Dateien, multimodal
- Nichts einzurichten oder zu pflegen
- Dein Text verlässt deinen Rechner
- Zahlen pro Nutzung, für immer; kann sich unter dir ändern
Deine eigene GPU
- Privat: Daten verlassen nie den Rechner, läuft offline
- Fixkosten, du kontrollierst und passt an
- Kleinere, weniger leistungsfähige Modelle als die Spitze
- Den Werkzeugkasten drumherum baust du selbst
- Echte Kosten für Hardware, Strom und Zeit
Fazit#
Für die meisten Leute und alltägliche Aufgaben sind die gehosteten Spitzenmodelle die richtige Antwort, mit großem Abstand. Greif zu lokal, wenn du einen konkreten Grund aus der Liste oben hast. Und dieselbe Abwägung gilt umso mehr, sobald sich ein ganzes Team darauf verlässt, was ein eigener Post ist: ein LLM fürs Team selbst hosten, und warum du es meistens lassen solltest.
Bei imp ging es nie darum, Claude oder Gemini als Chatbot zu schlagen. Ziel ist, die Fälle, in denen lokal die richtige Wahl ist, Datenschutz, Volumen, offline, Kontrolle, auf einer bezahlbaren Karte tragfähig zu machen, statt eines schlechten Kompromisses. Das ist ein engerer Anspruch als „alles zu Hause betreiben“, und es ist der zutreffende. Wenn du sehen willst, wie weit sich eine einzelne Consumer-Karte treiben lässt, fang an mit was ein LLM eigentlich ist, dann die Zahlen zum Tempo.