# Was ein LLM in deiner Infrastruktur kann und was nicht
> Zwanzig Jahre Systembetrieb, ein paar davon mit LLMs: wo KI einem Ops-Team hilft und wo sie ein Risiko ist.
Source: https://rfriedmann.de/de/blog/llms-in-your-infrastructure/ · English: https://rfriedmann.de/blog/llms-in-your-infrastructure/
Published: 2026-06-08 · Track: learn · Level: Ops
KI-Werkzeuge werden Infrastrukturteams derzeit intensiv angeboten. Nach zwei
Jahrzehnten Betrieb von Produktivsystemen und ein paar Jahren intensiver Arbeit damit,
wie LLMs [funktionieren](/de/blog/what-is-an-llm/), nutze ich eine
Aufteilung, die sich für mich bewährt hat. Sie lautet nicht „KI gut“ oder „KI
schlecht“. Sie lautet: KI am richtigen Platz einsetzen.
## Das mentale Modell
Ein LLM verhält sich wie ein schneller, eloquenter Junior, der manchmal selbstsicher
danebenliegt. Es liefert auf fast alles eine plausible Antwort, sofort, in genau deinem Format,
und hat keine Ahnung, wann es falsch liegt. Es [sagt wahrscheinlichen Text
voraus](/de/blog/what-is-an-llm/), keinen wahren Text.
Diese Eigenschaft entscheidet, wie man es einsetzt. Sie macht das LLM zum Produktivitätsgewinn für einen
Senior, der prüft, und zum Risiko für ein Team, das ihm ungeprüft vertraut. Dasselbe Werkzeug,
entgegengesetzte Ergebnisse, je nachdem, wie du es einsetzt.
## Das Modell spielt eine große Rolle
„Selbstsicher falsch“ ist das Fehlermuster, keine feste Fehlerquote, und die Quote
schwankt erheblich damit, welches Modell du einsetzt. Ein
kleines lokales Modell ist unzuverlässig. Ein Frontier-Modell
wie Claude Opus verhält sich anders: Es liegt meistens richtig,
und schwere Fehler sind selten. Der Abstand zwischen beiden ist groß.
Dieser Unterschied sollte ändern, wie sehr du dich auf das Modell stützt. Sie sollte
nicht ändern, ob du es prüfst. Die Disziplin ist an beiden Enden identisch: lesen,
hinterfragen, testen; das bessere Modell heißt nur, dass deine Prüfung öfter besteht.
Hörst du auf zu prüfen, weil „Opus eigentlich immer recht hat“, gelangt der seltene,
selbstsichere Fehler in die Produktion. Richte dein Vertrauen am Modell aus, aber
verzichte nie ganz auf die Prüfung.
## Wo es hilft
Nützlich
Eine kryptische Fehlermeldung oder einen Stack-Trace erklären
Lange Logs zu „Was hat sich geändert“ zusammenfassen
Erste Entwürfe für Skripte, Configs, IaC
Runbooks und Postmortems entwerfen
Rubber-Ducking für eine Designentscheidung
Zwischen Formaten und Tools übersetzen
Ein Risiko
Unbeaufsichtigt in der Produktion handeln
Alles, was Secrets oder Zugänge berührt
Entscheidungen, die Fakten brauchen, die ihm fehlen
„Es klang sicher, also hab ich’s ausgeführt“
Alles, wo eine falsche Antwort teuer und schwer zu erkennen ist
Das Muster in der linken Spalte: Die Eingabe ist unordentlich oder in natürlicher
Sprache, und ein Mensch prüft die Ausgabe, bevor sie irgendetwas berührt. Das Muster
rechts: Dem Modell wird zugetraut, richtig zu liegen, oder es darf selbst handeln.
Überschreitest du diese Linie, hängt die Produktion von einem Modell ohne Aufsicht ab.
## Die Kosten von Halluzinationen
Eine falsche Config, die richtig *aussieht*,
ist schlimmer als gar keine Config, denn keine Config scheitert laut, und eine
plausible, aber falsche scheitert später auf eine Art, die niemand
vorhergesehen hat. Die Eloquenz des Modells ist das Risiko: Die Ausgabe ist immer sauber
geformt, also sagt dir „sieht richtig aus“ gar nichts.
Vieles davon ist ein Kontextproblem. Ein Modell erfindet am meisten, wenn die relevanten
Fakten gar nicht vor ihm liegen; je mehr von der echten Situation du in sein Fenster
bekommst, desto weniger muss es raten. Auch hier liegen die größeren Modelle vorn: Ein
Kontext von 200k Tokens klingt groß, aber für eine echte Codebasis oder eine Reihe von
Configs und Logs reicht er häufig nicht. Die Fenster mit einer Million Tokens
bei den größeren Frontier-Modellen helfen in der Praxis: Du gibst ihnen
das ganze Bild statt eines kuratierten Ausschnitts, und sie haben weniger Lücken,
die sie mit erfundenen Details füllen.
Das hilft, aber es entlässt dich nicht aus der Verantwortung. Prüfen ist also kein
optionales Extra, sondern Voraussetzung. Die entscheidende Frage für jeden KI-Workflow im
Betrieb ist nie „Kann das Modell das?“. Sie lautet: „Kann ich seine Arbeit schneller
prüfen, als ich sie selbst hätte erledigen können?“ Lautet die Antwort ja (ein
Skriptentwurf lesen, eine Log-Zusammenfassung auf Plausibilität prüfen), gewinnst du.
Lautet sie nein (einer einmaligen Antwort zu etwas vertrauen, das du nicht leicht prüfen
kannst), hast du das Risiko nur dorthin verschoben, wo du es nicht siehst.
## Wo ich es an meiner Infrastruktur einsetze
In der Praxis läuft es auf zwei Regler hinaus: wie gut das Modell ist und wie gut meine
Leitplanken sind. Für eine schnelle Einmalsache, eine systemd-Unit, einen nginx-Block,
ein Wegwerfskript, lese ich es wie den Pull Request eines Juniors und führe es selbst
aus. In dieser Größenordnung ist es richtig, jede Zeile zu lesen, und es funktioniert.
„Jede Zeile lesen“ skaliert nicht. Ich [überlasse einem Agent die Tastatur,
um eine ganze CUDA-Engine zu bauen](/de/blog/writing-cuda-with-an-agent/), weit
mehr Code, als irgendwer von Hand reviewen könnte. Ab einer gewissen Größe änderst du den
Ansatz: Statt alles zu lesen, machst du einen Fehler billig und umkehrbar und gibst dem
Modell dann Spielraum. [Eng begrenzte Zugangsdaten, Least Privilege, alles in
git, echte Gates](/de/blog/llms-in-the-terminal/), das ist der Raum. In so einem Raum kann
ein fähiges Modell selbstständig arbeiten, weil der Raum es sicher hält, nicht deine
ständige Aufmerksamkeit.
Es heißt also nicht „gib ihm nie die Schlüssel“, ich gebe diesen Modellen jeden Tag sehr
viel Spielraum. Es heißt „gib ihm nie die Schlüssel zu einem Raum, den du nicht
rückgängig machen kannst“. Vertrauen wird weiterhin pro Änderung verdient, weiterhin am
Modell und am Einsatz kalibriert, aber *wie* du es gewährst, skaliert: vom Lesen jeder
Zeile eines Wegwerfskripts bis zum Vertrauen in die Leitplanken um einen Agent, der
hunderttausend schreibt. Die Lehre aus zwanzig Jahren Betrieb lautet nicht
„vertrau nichts“. Sie lautet „richte die Schutzmaßnahmen ein, bevor du die Schlüssel übergibst“.
Die zugrunde liegende Regel: Die KI schlägt vor, der
Mensch entscheidet. Das Modell entwirft, eine Person genehmigt, und erst dann handelt
das System.
Die KI schlägt vor, der Mensch entscheidet
[diagram omitted — see the page for the chart]Die KI verdient sich ihren Platz, indem sie Entwürfe liefert, die ein Mensch freigibt, nicht indem sie selbst handelt.