Raphael Friedmann
← KI verstehen

Wann man einen Agent selbstständig handeln lässt: ein Blick aus dem Betrieb

Ein Agent, der handeln kann, kann auch falsch handeln. Nach zwanzig Jahren Systembetrieb: wie viel Autonomie ich einem gebe und welche Leitplanken sich lohnen.

Sobald ein Agent nicht mehr nur redet, sondern handelt, ändert sich die Frage. Der schlimmste Tag eines Chatbots ist eine falsche Antwort, die du ignorieren kannst. Der schlimmste Tag eines Agents ist eine falsche Aktion, die du nicht zurücknehmen kannst: die gelöschten Datensätze, die Rundmail an die ganze Firma, die Produktionskonfiguration, die er „aufgeräumt“ hat. Das Modell rät so selbstbewusst wie vorher, aber jetzt lösen seine Vermutungen Aktionen aus.

Nach zwanzig Jahren, in denen ich Systeme am Laufen halte, ist meine Regel für das Abgeben von Arbeit an irgendwen, ob Berufseinsteiger, Cronjob oder Agent, immer dieselbe, und sie hat nichts damit zu tun, wie leistungsfähig das System ist. Es geht darum, was passiert, wenn es falschliegt.

Wo ich die Linie ziehe#

Sortier jede Aktion, die der Agent ausführen könnte, nach zwei Fragen: Lässt sie sich rückgängig machen, und wie weit reicht sie? Das teilt sich sauber in zwei Stapel.

Allein laufen lassen

  • Nur lesend: suchen, abrufen, zusammenfassen, analysieren
  • Leicht umkehrbar: ein Entwurf, ein Branch, eine Wegwerfkopie
  • In der Sandbox: eine Wegwerfumgebung, keine echten Daten
  • Billig zu wiederholen, wenn es danebengeht

Einen Menschen dazwischenschalten

  • Schreibt in Produktionsdaten oder -systeme
  • Unumkehrbar: löschen, senden, deployen, bezahlen
  • Berührt alles, was Kunden sehen oder rechtlich relevant ist
  • Kostet echtes Geld oder echten Ruf

Ein paar alltägliche Aktionen aufzutragen macht die Trennung greifbarer, als sie aufzusagen.

Autonomie nach Schadensradius bemessen
Logs lesen Änderung entwerfen in Prod deployen Kunden mailen laufen lassen Mensch prüft schwer umkehrbar Reichweite, wie weit es greift
Umkehrbarkeit und Reichweite entscheiden, wie viel Leine ein Agent bekommt, nicht wie schlau das Modell ist.

Die meiste nützliche Agent-Arbeit passt in die linke Spalte. Ein Agent, der Logs liest und einen Fix vorschlägt, ist sehr nützlich und risikoarm. Riskant wird es, wenn du ihn den Fix auch unbeaufsichtigt in Produktion einspielen lässt, weil das Lesen gut geklappt hat.

Die Leitplanken, die zählen#

Das ist dieselbe Lektion wie beim Bau von imp mit einem Agent: Du vertraust der Ausgabe eines Agents nicht, weil sie gut aussieht, du begrenzt die Umgebung, in der er arbeitet. Die wichtigen, sortiert danach, wie viel Schaden sie verhindern:

  1. Werkzeuge mit minimalen Rechten

    Der mit Abstand größte Hebel. Gib ihm keine uneingeschränkte Shell. Gib ihm die drei schmalen Werkzeuge, die die Aufgabe braucht. Ein Agent kann nichts tun, wofür er kein Werkzeug hat, also ist die sicherste Aktion die, die du nie freigegeben hast.

  2. Ein menschliches Gate vor allem Unumkehrbaren

    Alles aus der rechten Spalte oben wartet auf ein Ja. Der Agent schlägt das Löschen, das Deployment, die Mail vor; ein Mensch gibt es frei. Genau hier sollte „autonom“ aufhören, mit Absicht.

  3. Erst Sandbox und Trockenlauf

    Lass ihn auf eine Kopie los, oder im --dry-run-Modus, der ausgibt, was er tun würde. Echte Änderungen gibt es erst, wenn die Generalprobe stimmt.

  4. Harte Grenzen

    Eine Obergrenze für Schritte, ein Timeout, ein Ausgabenlimit. Eine hängende Schleife soll an eine Grenze stoßen und stoppen, nicht das ganze Wochenende laufen und eine API-Rechnung hochtreiben oder eine API überlasten.

  5. Ein Audit-Log und eine unabhängige Prüfung

    Protokollier jeden Tool-Aufruf, damit du siehst, was er wirklich getan hat (in Deutschland braucht ein Protokoll, das namentlichen Nutzern zugeordnet ist, eine Betriebsvereinbarung und eine Löschfrist), und prüf die Ergebnisse gegen etwas, das der Agent nicht fälschen kann, so wie die Tests von imp Kernels gegen eine unabhängige Referenz prüfen. Ein grüner Lauf, den er sich selbst bewertet hat, beweist nichts.

Nichts davon ist exotisch. Es sind dieselben Kontrollen, die du am ersten Tag um die Zugänge eines neuen Mitarbeiters legen würdest. Der Agent macht es nur verlockender, sie wegzulassen, weil er schnell ist und sich seiner Sache sicher anhört.

Eine allgemeine Faustregel#

Wenn ich unsicher bin, wie viel Autonomie ich einem Agent für eine Aufgabe gebe, frage ich nicht, ob das Modell „gut genug“ ist. Ich stelle eine einzige Frage:

Der Test ist gut, weil er dich zwingt, über Folgen und Zugriff gemeinsam nachzudenken, und genau darauf kommt es an. Einen Praktikanten würdest du unbeaufsichtigt Dashboards lesen und einen Bericht entwerfen lassen. Du würdest ihn nicht am ersten Tag in Produktion pushen oder Kunden anschreiben lassen, egal wie scharfsinnig er im Vorstellungsgespräch wirkte. Behandle den Agent wie einen solchen Praktikanten: schnell, unermüdlich und gelegentlich übermütig.

Das ist dieselbe Trennung, die ich für KI in einem Infrastruktur-Team ziehe und dafür, wann man gar nicht erst zu ihr greifen sollte: Die Technik ist nützlich, und die Disziplin besteht darin, nicht zuzulassen, dass aus „nützlich“ „unbeaufsichtigt“ wird. Richte zuerst die Leitplanken ein, dann vergib Rechte, eines nach dem anderen.