Raphael Friedmann
← KI verstehen

Warum Modelle sich Dinge ausdenken

Ein Modell liefert dir mit voller Überzeugung einen falschen Fakt, ein erfundenes Zitat oder eine Funktion, die es nicht gibt. Woher „Halluzinationen“ kommen und wie du damit umgehst.

Du fragst ein Modell nach einem Zitat, einem Gerichtsurteil, einer Bibliotheksfunktion, einem Datum. Es liefert dir eins, flüssig, im genau richtigen Format, in selbstsicherem Ton. Aber es ist falsch. Das Zitat hat nie jemand gesagt, das Urteil gibt es nicht, die Funktion existiert nicht. Das Problem ist nicht nur der Fehler, sondern die Überzeugung: Es klingt genauso sicher wie dann, wenn es stimmt.

Das nennt man meist Halluzination, und es gehört zum Wichtigsten, was du verstehen solltest, bevor du einer KI irgendetwas Wichtiges anvertraust. Sobald du siehst, warum es passiert, kannst du damit umgehen.

Es wollte nie richtig liegen#

Das ist die eigentliche Ursache. Ein LLM wurde nicht gebaut, um Fakten abzurufen. Es wurde gebaut, um Text plausibel fortzusetzen, Token für Token, indem es das wahrscheinlichste nächste Wort vorhersagt (siehe was ein LLM ist). Das ist der ganze Job. Wahrheit war nie das Ziel, Plausibilität schon.

Meistens fällt beides zusammen. Die plausibelste Fortsetzung von „die Hauptstadt von Frankreich ist“ ist tatsächlich „Paris“, weil diese Kombination in den Trainingstexten ständig vorkommt; die Muster sind stark, die Antwort stimmt. Probleme entstehen dann, wenn du etwas fragst, bei dem die plausibel klingende und die wahre Antwort auseinanderlaufen.

Worauf das Modell optimiert vs. was du wolltest
klingt plausibelist wirklich wahrmeistbeidesplausibel,aber falschwahr, aberungesagt
Das Modell zielt immer nur auf den linken Kreis: die plausibelste Fortsetzung. Meistens überschneidet sich das mit der Wahrheit. Eine Halluzination ist, wenn das Modell in der linken Sichel landet, flüssig, sauber formuliert und falsch, ohne inneres Signal, dass es die Schnittmenge verlassen hat.

Ein erfundenes Zitat ist ein typisches Beispiel. Das Modell hat Tausende echte Quellenangaben gesehen und weiß genau, wie eine aussieht: Autor, Jahr, plausibler Titel, Zeitschrift, Seitenzahlen. Fragst du nach einer Quelle, die es nicht hat, ist die plausibelste Fortsetzung eine Zeichenkette mit genau diesen Merkmalen, ein Objekt in Form einer Quellenangabe. Es kopiert keine echte und vertut sich dabei; es erzeugt etwas, das genau ins Muster „Quellenangabe“ passt und zufällig auf nichts verweist.

Warum es so sicher klingt#

Die Überzeugung führt viele in die Irre, also lohnt es sich, hier genau zu sein. Ein Mensch, der etwas nicht weiß, klingt meist unsicher, er relativiert, er stockt. Das Modell hat kein solches Signal, aus einem einfachen Grund: Flüssigkeit und Richtigkeit entstehen in derselben Maschinerie, und gut ist sie nur in einem von beiden.

Wie glatt ein Satz klingt, misst, wie gut die Wörter zueinander passen, nicht wie gut sie zur Wirklichkeit passen. Eine falsche Antwort kann grammatisch genauso glatt und genauso gut strukturiert sein wie eine wahre, also klingt sie identisch. Das Modell unterdrückt keine Zweifel; von innen gibt es oft nichts, was die Erfindung von einem Fakt unterscheidet. Selbstsicherheit in der Formulierung sagt nichts über den Inhalt, und genau diese Entkopplung ist das Risiko.

Wann es am ehesten passiert#

Halluzinationen sind nicht zufällig. Sie häufen sich an vorhersehbaren Stellen, und wenn du die kennst, weißt du genau, wann du aufpassen musst.

  • Konkrete Fakten am Rand des Allgemeinwissens. Exakte Daten, Statistiken, Preise, wer was gesagt hat, die Einwohnerzahl einer Kleinstadt. Je präziser und entlegener, desto dünner das Trainingssignal, und wo das Signal dünn ist, füllt es auf.
  • Alles, was es zitieren soll. Quellen, Seitenzahlen, Rechtsprechung, Titel von Studien, Zitate. Erfundene Quellenangaben sind ein Klassiker, gerade weil die Form so gut gelernt ist.
  • APIs, Funktionen und Konfiguration. Es erfindet bereitwillig einen Methodennamen oder ein Flag, das es nach dem Rest der Bibliothek zu urteilen geben müsste, denn „plausibel nach Muster“ ist genau das, was es tut.
  • Das sehr Neue und das sehr Nischige. Für alles nach dem Trainingsstichtag oder alles, was zu selten vorkam, hat es keine echte Grundlage, also improvisiert es.
  • Wenn du es lenkst. Frag „Wie heißt das Gesetz, das X verbietet?“, und es erfindet womöglich ein Gesetz, um die Frage zu bedienen, auch wenn es keins gibt. Eine selbstsichere Frage lädt zu einer selbstsicheren Antwort ein. Lass ihm Raum zu sagen: „So etwas gibt es nicht.“

Was hilft#

Abschalten kannst du es nicht, aber stark eindämmen. Nichts davon ist exotisch.

Lädt zum Halluzinieren ein

  • „Was hat die Smith-Studie von 2019 herausgefunden?“
  • Exakte Fakten oder Quellen aus dem Gedächtnis abfragen
  • Suggestivfragen, die eine Antwort voraussetzen
  • Flüssigen, selbstsicher klingenden Details vertrauen

Reduziert Halluzinationen

  • „Hier ist das Dokument, antworte nur auf dieser Grundlage“
  • Ihm das Quellmaterial zum Arbeiten geben
  • „Sag es, wenn du unsicher bist oder es das nicht gibt“
  • Alles Konkrete prüfen, auf das es ankommt

Der mit Abstand größte Hebel: Gib ihm die Fakten, statt es sich erinnern zu lassen. Ein Modell, das das eigentliche Dokument bekommt und aus diesem Text antworten soll, ist weit zuverlässiger als eines, das sich erinnern soll, denn jetzt müssen plausible Fortsetzung und wahre Antwort zusammenfallen, die richtige Antwort liegt direkt vor ihm. Genau das ist die Idee dahinter, ein Modell mit deinen eigenen Dokumenten zu verbinden, und deshalb setzen viele KI-Produkte darauf. Aus „erinnere dich an einen Fakt“ wird „lies und zitiere“, und das kann das Modell gut.

Der Rest ist Urteilsvermögen. Moderne Modelle, vor allem die großen gehosteten mit Websuche, halluzinieren deutlich weniger als noch vor ein paar Jahren, und viele sagen dir inzwischen, wenn sie unsicher sind oder eine Suche nichts ergeben hat. Aber „deutlich weniger“ heißt nicht „nie“, und der Fehler ist konstruktionsbedingt unsichtbar. Die Regel, die sich für mich bewährt hat: Je konkreter, folgenreicher und überprüfbarer eine Aussage ist, desto eher lohnt es sich, sie zu prüfen. Nutz das Modell zum Entwerfen, zum Erklären, um die Form einer Antwort zu finden, und prüf dann die tragenden Fakten selbst. Das ist kein Misstrauen, das heißt einfach, das Werkzeug für das zu nutzen, was es ist: ein Generator für plausiblen Text, keine Quelle geprüfter Fakten.

Wenn du das hier gelesen hast, dazu den Beitrag über unterschiedliche Antworten und den über Tokens, kennst du jetzt die drei Dinge, die Leute am meisten daran überraschen, wie sich diese Modelle verhalten, und das meiste von dem, was du brauchst, um eins zu nutzen, ohne dich von ihm in die Irre führen zu lassen.