Ein eigenes LLM fürs Team betreiben: meistens nicht lohnend
Warum die meisten Teams kein eigenes Modell betreiben sollten: Die Fehlerquote eines kleinen Modells kostet mehr Arbeitszeit, als es an API-Gebühren spart. Und wo es trotzdem sinnvoll ist.
Ein eigenes Modell hat auf dem Papier klare Vorteile. Die Daten bleiben im Haus, keine Rechnung pro Nutzer, volle Kontrolle. Als Verantwortlicher für die Infrastruktur werde ich regelmäßig danach gefragt. Die kurze Antwort: Für die meisten Teams lohnt es sich derzeit nicht. Und der Grund ist weder die Hardware noch der Betriebsaufwand. Es ist das Modell.
Der entscheidende Faktor: die Modellqualität#
Das Modell macht einen enormen Unterschied, und das Modell, das du mit vernünftigem Budget selbst betreiben kannst, spielt nicht in derselben Liga wie ein Frontier-Modell wie Claude Opus im Rechenzentrum eines Anbieters. Genau diese Lücke zählt am meisten, denn die Ausgabe musst du so oder so prüfen. Jede falsche Antwort kostet Zeit: sie zu erkennen, neu zu machen oder zu debuggen, was sie still kaputt gemacht hat.
Die tatsächlichen Kosten eines schwächeren Modells sind also nicht die gesparte Lizenz, sondern die bezahlte Arbeitszeit. Ein Modell, das doppelt so oft falschliegt, kostet im Betrieb nicht doppelt so viel, es kostet ein Vielfaches davon an Arbeitszeit deines Teams. Billige Hardware heißt kleines Modell, ein kleines Modell heißt hohe Fehlerquote, und eine hohe Fehlerquote heißt bezahlte Arbeitszeit für Korrekturen. Die vermiedene API-Gebühr ist meist die kleinste Zahl in der Rechnung, bekommt aber die meiste Aufmerksamkeit.
Deshalb schlägt heute eine Frontier-API das Selbst-Hosten für die meisten Teams bei dem Punkt, der am meisten zählt: gute Antworten mit weniger verschwendetem Aufwand.
Wann es trotzdem sinnvoll ist#
Es gibt Fälle, in denen Selbst-Hosten gewinnt, und sie haben dieselbe Form: Entweder dürfen die Daten rechtlich nicht raus, oder die Aufgabe ist eng genug, dass ein kleines Modell reicht, oder du bist bereit, ein großes Budget einzusetzen.
- Harte Datenschutz- oder Regulierungsgrenzen. Wenn die Daten dein Netz rechtlich nicht verlassen dürfen, nimmst du die geringere Qualität bewusst in Kauf, denn die Alternative ist kein besseres Modell, sondern ein Compliance-Problem. Datenschutz war von Anfang an das stärkste Argument für lokal. Was „rechtlich“ in der Praxis heißt, steht in einer eigenen Lektion.
- Enge, klar umrissene Arbeit in großer Menge. Klassifizieren, Extrahieren, Taggen, Autovervollständigung, Massenverarbeitung ähnlicher Einträge. Ein kleineres Modell kann hier reichen, du würdest es ohnehin absichern und prüfen, und bei dieser Menge wird die API-Abrechnung pro Aufruf zu einem spürbaren Kostenfaktor. Hier ist lokal am stärksten.
- Offline oder air-gapped. Kein Internet, keine API. Dann ist Selbst-Hosten keine Vorliebe, sondern die einzige Option.
- Du bist bereit, viel zu investieren. Mehrere High-End-GPUs, die größten offenen Modelle, eigenes Betriebspersonal. Gib genug aus, und die Qualitätslücke wird kleiner. Die meisten Teams, die fragen „Sollen wir selbst hosten, um Geld zu sparen?“, gehören nicht in diese Gruppe, und das beantwortet die Frage.
Wenn nichts davon auf dich zutrifft, lautet die Empfehlung: Nimm eine Frontier-API und schau in sechs Monaten wieder hin, denn offene Modelle werden schnell besser.
Die Geldseite folgt derselben Logik. Cloud-Preise wachsen mit der Nutzung, eine gekaufte Karte ist dagegen ein Fixkosten-Block, egal wie hart du sie auslastest. Die beiden Kurven kreuzen sich also erst, wenn dein Volumen hoch und gleichmäßig ist.
Wenn du entschieden hast, dass es sich lohnt#
Angenommen, einer dieser Fälle passt. Dann kurz zur Praxis.
Dimensionierung. Die Zahl, die alles entscheidet, ist VRAM: Gewichte plus Arbeitsspeicher müssen auf die Karte passen. Eine einzelne 32-GB-Karte betreibt ein Modell der 30B-Klasse in 4 Bit bequem für einen Nutzer. Die Grenze ist die Gleichzeitigkeit: Ein Dutzend Leute, die gleichzeitig darauf zugreifen, teilen sich diesen Durchsatz, und das ist ein anderes Leistungsregime als einen Nutzer zu bedienen.
Serving. Betreib es hinter einer OpenAI-kompatiblen API, nur aus deinem Netz erreichbar und mit einem API-Schlüssel pro Person oder Tool, dann zeigt jedes vorhandene Tool einfach auf deinen Server statt auf einen Anbieter. Keine Änderungen an den Anwendungen. Ein Inferenz-Server ohne Authentifizierung an einer öffentlichen Adresse ist ein kostenloses Modell für alle, die ihn finden, und Scans finden solche Server zu Tausenden.
Der Betriebsaufwand. Das ist jetzt ein Dienst, den du betreibst, keine App, die du installiert hast: ein Single Point of Failure, bis du ihn zu keinem mehr machst, ein Modell, das laufend aktualisiert werden will, Observability, die dazukommen muss, und ein klarer Verantwortlicher, damit es keine Schatten-IT wird. Zeigen die Logs, wer was gefragt hat, sind sie personenbezogene Daten nach DSGVO, und in Deutschland bestimmt der Betriebsrat, wo es einen gibt, mit, bevor sie laufen (§ 87 Abs. 1 Nr. 6 BetrVG). Nichts davon ist ein K.-o.-Kriterium, es sind die Grundkosten des Betriebs.
Fazit#
Für die meisten Teams ist ein Frontier-Modell in der Cloud heute so weit vor allem, was du mit vernünftigem Budget selbst betreiben kannst, dass ein eigenes selten Sinn ergibt. Hoste selbst, wenn die Daten nicht raus dürfen, wenn die Aufgabe eng genug ist, dass klein reicht, oder wenn du bereit bist, ein großes Budget einzusetzen. Sonst kostet dich die Fehlerquote eines billigen Modells mehr, als die API es getan hätte. Dieses Gleichgewicht wird sich verschieben, wenn offene Modelle aufholen. Noch ist es nicht so weit. Und wenn es so weit ist, hört Selbst-Hosten auf, ein Kompromiss zu sein, und wird die Standardwahl. Deshalb arbeite ich daran.