# Wann man einen Agent selbstständig handeln lässt: ein Blick aus dem Betrieb
> Ein Agent, der handeln kann, kann auch falsch handeln. Nach zwanzig Jahren Systembetrieb: wie viel Autonomie ich einem gebe und welche Leitplanken sich lohnen.
Source: https://rfriedmann.de/de/blog/letting-an-agent-loose/ · English: https://rfriedmann.de/blog/letting-an-agent-loose/
Published: 2026-06-17 · Track: learn · Level: Ops
Sobald ein Agent [nicht mehr nur redet, sondern handelt](/de/blog/what-is-an-ai-agent/),
ändert sich die Frage. Der schlimmste Tag eines Chatbots ist eine falsche Antwort, die
du ignorieren kannst. Der schlimmste Tag eines Agents ist eine falsche *Aktion*, die du
nicht zurücknehmen kannst: die gelöschten Datensätze, die Rundmail an die ganze Firma,
die Produktionskonfiguration, die er „aufgeräumt“ hat. Das Modell rät so
selbstbewusst wie vorher, aber jetzt lösen seine Vermutungen Aktionen aus.
Nach zwanzig Jahren, in denen ich Systeme am Laufen halte, ist meine Regel für das
Abgeben von Arbeit an irgendwen, ob Berufseinsteiger, Cronjob oder Agent, immer
dieselbe, und sie hat nichts damit zu tun, wie leistungsfähig das System ist. Es geht darum, was
passiert, wenn es falschliegt.
## Wo ich die Linie ziehe
Sortier jede Aktion, die der Agent ausführen könnte, nach zwei Fragen: Lässt sie sich
rückgängig machen, und wie weit reicht sie? Das teilt sich sauber in zwei Stapel.
Allein laufen lassen
Nur lesend: suchen, abrufen, zusammenfassen, analysieren
Leicht umkehrbar: ein Entwurf, ein Branch, eine Wegwerfkopie
In der Sandbox: eine Wegwerfumgebung, keine echten Daten
Billig zu wiederholen, wenn es danebengeht
Einen Menschen dazwischenschalten
Schreibt in Produktionsdaten oder -systeme
Unumkehrbar: löschen, senden, deployen, bezahlen
Berührt alles, was Kunden sehen oder rechtlich relevant ist
Kostet echtes Geld oder echten Ruf
Ein paar alltägliche Aktionen aufzutragen macht die Trennung greifbarer, als sie
aufzusagen.
Autonomie nach Schadensradius bemessen
[diagram omitted — see the page for the chart]Umkehrbarkeit und Reichweite entscheiden, wie viel Leine ein Agent bekommt, nicht wie schlau das Modell ist.
Die meiste nützliche Agent-Arbeit passt in die linke Spalte. Ein Agent, der Logs
liest und einen Fix vorschlägt, ist sehr nützlich und risikoarm. Riskant wird es, wenn
du ihn den Fix auch unbeaufsichtigt in Produktion *einspielen* lässt, weil das Lesen
gut geklappt hat.
## Die Leitplanken, die zählen
Das ist dieselbe Lektion wie beim [Bau von imp mit einem Agent](/de/blog/writing-cuda-with-an-agent/):
Du vertraust der Ausgabe eines Agents nicht, weil sie gut aussieht, du begrenzt die
Umgebung, in der er arbeitet. Die wichtigen, sortiert danach, wie viel Schaden sie
verhindern:
Werkzeuge mit minimalen Rechten
Der mit Abstand größte Hebel. Gib ihm keine uneingeschränkte Shell. Gib ihm die drei schmalen Werkzeuge, die die Aufgabe braucht. Ein Agent kann nichts tun, wofür er kein Werkzeug hat, also ist die sicherste Aktion die, die du nie freigegeben hast.
Ein menschliches Gate vor allem Unumkehrbaren
Alles aus der rechten Spalte oben wartet auf ein Ja. Der Agent schlägt das Löschen, das Deployment, die Mail vor; ein Mensch gibt es frei. Genau hier sollte „autonom“ aufhören, mit Absicht.
Erst Sandbox und Trockenlauf
Lass ihn auf eine Kopie los, oder im --dry-run-Modus, der ausgibt, was er tun würde. Echte Änderungen gibt es erst, wenn die Generalprobe stimmt.
Harte Grenzen
Eine Obergrenze für Schritte, ein Timeout, ein Ausgabenlimit. Eine hängende Schleife soll an eine Grenze stoßen und stoppen, nicht das ganze Wochenende laufen und eine API-Rechnung hochtreiben oder eine API überlasten.
Ein Audit-Log und eine unabhängige Prüfung
Protokollier jeden Tool-Aufruf, damit du siehst, was er wirklich getan hat (in Deutschland braucht ein Protokoll, das namentlichen Nutzern zugeordnet ist, eine Betriebsvereinbarung und eine Löschfrist), und prüf die Ergebnisse gegen etwas, das der Agent nicht fälschen kann, so wie die Tests von imp Kernels gegen eine unabhängige Referenz prüfen. Ein grüner Lauf, den er sich selbst bewertet hat, beweist nichts.
Nichts davon ist exotisch. Es sind dieselben Kontrollen, die du am ersten Tag um die
Zugänge eines neuen Mitarbeiters legen würdest. Der Agent macht es nur verlockender,
sie wegzulassen, weil er schnell ist und sich seiner Sache sicher anhört.
## Eine allgemeine Faustregel
Wenn ich unsicher bin, wie viel Autonomie ich einem Agent für eine Aufgabe gebe, frage ich
nicht, ob das Modell „gut genug“ ist. Ich stelle eine einzige Frage:
Der Test ist gut, weil er dich zwingt, über Folgen und Zugriff gemeinsam
nachzudenken, und genau darauf kommt es an. Einen Praktikanten würdest du
unbeaufsichtigt Dashboards lesen und einen Bericht entwerfen lassen. Du würdest ihn
nicht am ersten Tag in Produktion pushen oder Kunden anschreiben lassen, egal wie
scharfsinnig er im Vorstellungsgespräch wirkte. Behandle den Agent wie einen solchen
Praktikanten: schnell, unermüdlich und gelegentlich übermütig.
Das ist dieselbe Trennung, die ich für KI [in einem
Infrastruktur-Team](/de/blog/llms-in-your-infrastructure/) ziehe und dafür, [wann man gar
nicht erst zu ihr greifen sollte](/de/blog/when-not-to-use-ai/): Die Technik ist
nützlich, und die Disziplin besteht darin, nicht zuzulassen, dass aus „nützlich“
„unbeaufsichtigt“ wird. Richte zuerst die Leitplanken ein, dann vergib Rechte, eines
nach dem anderen.