# Ein LLM auf die eigenen Dokumente ansetzen (RAG)
> Eine häufige Anfrage lautet „ein ChatGPT, das unsere internen Dokumente kennt“. Das ist RAG: einfacher als oft dargestellt, und die meiste Arbeit steckt in der Retrieval-Hälfte.
Source: https://rfriedmann.de/de/blog/your-own-documents/ · English: https://rfriedmann.de/blog/your-own-documents/
Published: 2026-06-21 · Track: learn · Level: Ops
Die häufigste KI-Anfrage, die bei einem Infrastruktur-Team landet, ist irgendeine
Variante von: „Können wir ein ChatGPT haben, das unsere Unterlagen kennt?“ Unsere Runbooks,
unser Wiki, unsere Tickets, unsere Verträge. Eine vernünftige Bitte, und das Muster
ist etabliert. Die Demo sind die leichten 20 %; ob das System nützlich ist, hängt an
der Retrieval-Verrohrung dahinter.
Das Muster hat einen Namen, **RAG**, und es lohnt sich, es richtig zu verstehen, bevor
du ein Projekt darum herum freigibst, denn die Fehlermodi stecken in Details, die
Hersteller-Präsentationen selten behandeln.
## Training auf deinen Daten ist der falsche erste Schritt
Das ist meist die erste Frage. Du *kannst* ein Modell auf deinem Korpus
fine-tunen, und es ist fast immer der falsche erste Schritt.
[Fine-Tuning](/de/blog/pretraining-finetuning-rlhf/) bringt einem Modell *Stil und
Verhalten* bei, keine verlässlichen *Fakten*: Trainier tausend Dokumente in die Gewichte,
und das Modell bekommt ein vages, verschwommenes Gefühl für sie, kein zitierfähiges
Gedächtnis, und es wird sich bei den Details trotzdem [selbstbewusst Dinge
ausdenken](/de/blog/why-models-make-things-up/). Außerdem heißt es, bei jeder Änderung
eines Dokuments neu zu bauen, und geänderte Dokumente sind die Regel, nicht die
Ausnahme.
RAG umgeht all das. Das Modell bleibt, wie es ist; deine Daten liegen in einem
Speicher, den du jederzeit aktualisieren kannst. Runbook ändern, diese eine Datei neu
indexieren, fertig. Das Modell liest zum Zeitpunkt der Frage den aktuellen Text,
statt sich an einen Schnappschuss zu erinnern. Für „antworte aus unseren Dokumenten“
schlägt Abrufen das Auswendiglernen fast immer.
## Wie es funktioniert
Zwei Hälften. Eine langsame, die du vorab erledigst, und eine schnelle, die bei jeder
Frage läuft.
RAG: einmal indexieren, dann pro Frage abrufen und antworten
[diagram omitted — see the page for the chart]
Vorab: Dokumente in Chunks zerlegen, aus jedem ein Embedding machen, ablegen. Pro Frage: die Frage genauso einbetten, die nächstgelegenen Chunks holen und sie dem Modell zusammen mit der Frage geben. Das Modell antwortet aus dem Text, den du ihm gerade gegeben hast, nicht aus dem Gedächtnis.
Die entscheidende Komponente ist das **Embedding**.
Eine Frage dem richtigen Chunk zuzuordnen ist also keine Stichwortsuche, sondern eine
*Bedeutungs*suche: Frage einbetten, die gespeicherten Chunks finden, deren Vektoren am
nächsten liegen, und diese weiterreichen. Das lässt die Demo funktionieren, und genau
dort geht es auch schief, ohne sichtbare Fehler.
## Das Retrieval bestimmt die Qualität
Der wichtigste Punkt für den Projekt-Kickoff: **Die Qualität eines RAG-Systems ist fast
vollständig die Qualität seines Retrievals, nicht seines Modells.** Schafft es der
richtige Chunk nicht in den Prompt, antwortet kein Modell richtig. Es sagt entweder,
dass es nichts weiß, oder schlimmer, [füllt die Lücke mit etwas
Plausiblem](/de/blog/why-models-make-things-up/). Der Generierungsschritt ist nur so gut
wie der Abruf, der ihn füttert. Wo solche Projekte kämpfen, liegt es fast immer am
Retrieval, und fast immer an einem von diesen Punkten:
- **Chunking.** Zerteilst du Dokumente zu klein, kappst du den Kontext, den ein Satz
gebraucht hätte; zu groß, und die relevante Zeile geht in Rauschen unter, durch das
sich das Modell wühlen muss. Es gibt keine universell richtige Größe, und eine
falsche senkt die Antwortqualität, ohne dass in den Logs etwas davon zu sehen ist.
- **Der Korpus ist inkonsistent.** Veraltete Runbooks, drei widersprüchliche Versionen
derselben Richtlinie, ein Wiki, das zur Hälfte falsch ist. RAG ruft dein veraltetes
Dokument treu ab und zitiert es mit voller Überzeugung. Falsche Eingaben ergeben
falsche Ausgaben, *selbstbewusst* vorgetragen. RAG legt Dokumentationsschulden direkt
offen.
- **Berechtigungen.** In dem Moment, in dem dein Assistent „alle Firmendokumente“ lesen
kann, kann er die Gehaltstabelle oder das Security-Review an jeden verraten, der
fragt. Das Retrieval muss respektieren, wer was sehen darf, pro Nutzer, pro
Anfrage, und das ist echtes Engineering für Zugriffskontrolle, kein Häkchen. Und ein
Index aus Dokumenten mit personenbezogenen Daten [fällt unter die
DSGVO](/de/blog/ai-and-the-law-gdpr-ai-act/) wie die Dokumente selbst.
- **Feindlicher Text im Korpus.** Ein abgerufenes Dokument kann Anweisungen enthalten,
und das Modell folgt ihnen womöglich: [Prompt Injection](/de/blog/prompt-injection/).
Behandle abgerufenen Text als Daten und gib dem Assistenten keine Tools, die er
missbrauchen könnte.
- **Tabellen, PDFs, Bilder, Diagramme.** Die Hälfte deines echten Wissens ist keine
saubere Prosa. Textextraktion aus einem gescannten PDF oder einer Tabelle ist ein
eigenes Projekt, und was der Embedder nie sieht, kann das Retrieval nie
finden.
Nichts davon sind KI-Probleme. Es sind Daten-, Verrohrungs- und
Zugriffskontrollprobleme, genau die Dinge, in denen ein Ops-Team ohnehin gut ist. Das
Modell ist der einfache, weitgehend gelöste Teil, den du über eine API mietest. Jeder
Ausschnitt, der an diese API geht, ist ebenfalls eine Verarbeitung deiner Daten: Er
braucht einen Auftragsverarbeitungsvertrag, und bei Material unter Berufsgeheimnis einen
Dienstleister, der zur Verschwiegenheit verpflichtet ist (§ 203 StGB). Die
Datenpipeline drumherum ist das Projekt, und sie entscheidet, ob sich das System lohnt.
## Wofür es gut ist und wofür nicht
RAG glänzt
„Was sagt unsere Richtlinie zu X“ über echte Dokumente
Antworten, die die Quelle zitieren und verlinken
Wissen, das sich oft ändert: neu indexieren, nicht neu trainieren
Weniger Halluzinationen durch Verankerung in echtem Text
RAG tut sich schwer
Fragen, die den ganzen Korpus auf einmal brauchen, nicht ein paar Ausschnitte
Zählen, Aggregieren, „wie viele Tickets erwähnen…“
Schlussfolgern über viele Dokumente, die es nicht abgerufen hat
Eine chaotische oder widersprüchliche Quelle: Es zitiert das Chaos
Der Einsatzbereich ist schmal und real: *die relevante Passage nachschlagen und daraus
antworten, mit einer Quellenangabe, die du zum Prüfen anklicken kannst.* Dieser
letzte Teil ist der Hauptvorteil: Eine RAG-Antwort kann ihre Quellen zeigen, und
das macht aus dem Modell statt eines Orakels, dem du glauben musst, einen
Rechercheassistenten, den du überprüfen kannst. Genau diese Haltung [hält ein LLM an
der richtigen Stelle in deiner Infrastruktur](/de/blog/llms-in-your-infrastructure/).
## Empfehlung
Lautet die Anforderung „beantworte Fragen über unsere Dokumente“, ist RAG das richtige
Muster, nicht Fine-Tuning und nicht das Warten auf ein Modell, das groß genug ist, um
alles auswendig zu lernen. Aber plane es realistisch: Budgetier die Retrieval- und
Datenarbeit als das eigentliche Projekt, behandle das LLM als gemietete Massenware und
verlange Quellenangaben, damit jede Antwort prüfbar ist. So gebaut ist es nützlich.
Baust du es als „Chatbot aufs Wiki richten und ausliefern“, bekommst du eine
Suchleiste, die selbstbewusst falsche Antworten liefert. Wie überall bei dieser Technik
liegt der Wert in der Disziplin drumherum, und der Großteil dieser Disziplin ist
Verrohrung, die du schon beherrschst.