# Ein LLM auf die eigenen Dokumente ansetzen (RAG) > Eine häufige Anfrage lautet „ein ChatGPT, das unsere internen Dokumente kennt“. Das ist RAG: einfacher als oft dargestellt, und die meiste Arbeit steckt in der Retrieval-Hälfte. Source: https://rfriedmann.de/de/blog/your-own-documents/ · English: https://rfriedmann.de/blog/your-own-documents/ Published: 2026-06-21 · Track: learn · Level: Ops Die häufigste KI-Anfrage, die bei einem Infrastruktur-Team landet, ist irgendeine Variante von: „Können wir ein ChatGPT haben, das unsere Unterlagen kennt?“ Unsere Runbooks, unser Wiki, unsere Tickets, unsere Verträge. Eine vernünftige Bitte, und das Muster ist etabliert. Die Demo sind die leichten 20 %; ob das System nützlich ist, hängt an der Retrieval-Verrohrung dahinter. Das Muster hat einen Namen, **RAG**, und es lohnt sich, es richtig zu verstehen, bevor du ein Projekt darum herum freigibst, denn die Fehlermodi stecken in Details, die Hersteller-Präsentationen selten behandeln. ## Training auf deinen Daten ist der falsche erste Schritt Das ist meist die erste Frage. Du *kannst* ein Modell auf deinem Korpus fine-tunen, und es ist fast immer der falsche erste Schritt. [Fine-Tuning](/de/blog/pretraining-finetuning-rlhf/) bringt einem Modell *Stil und Verhalten* bei, keine verlässlichen *Fakten*: Trainier tausend Dokumente in die Gewichte, und das Modell bekommt ein vages, verschwommenes Gefühl für sie, kein zitierfähiges Gedächtnis, und es wird sich bei den Details trotzdem [selbstbewusst Dinge ausdenken](/de/blog/why-models-make-things-up/). Außerdem heißt es, bei jeder Änderung eines Dokuments neu zu bauen, und geänderte Dokumente sind die Regel, nicht die Ausnahme. RAG umgeht all das. Das Modell bleibt, wie es ist; deine Daten liegen in einem Speicher, den du jederzeit aktualisieren kannst. Runbook ändern, diese eine Datei neu indexieren, fertig. Das Modell liest zum Zeitpunkt der Frage den aktuellen Text, statt sich an einen Schnappschuss zu erinnern. Für „antworte aus unseren Dokumenten“ schlägt Abrufen das Auswendiglernen fast immer. ## Wie es funktioniert Zwei Hälften. Eine langsame, die du vorab erledigst, und eine schnelle, die bei jeder Frage läuft.
RAG: einmal indexieren, dann pro Frage abrufen und antworten
[diagram omitted — see the page for the chart]
Vorab: Dokumente in Chunks zerlegen, aus jedem ein Embedding machen, ablegen. Pro Frage: die Frage genauso einbetten, die nächstgelegenen Chunks holen und sie dem Modell zusammen mit der Frage geben. Das Modell antwortet aus dem Text, den du ihm gerade gegeben hast, nicht aus dem Gedächtnis.
Die entscheidende Komponente ist das **Embedding**. Eine Frage dem richtigen Chunk zuzuordnen ist also keine Stichwortsuche, sondern eine *Bedeutungs*suche: Frage einbetten, die gespeicherten Chunks finden, deren Vektoren am nächsten liegen, und diese weiterreichen. Das lässt die Demo funktionieren, und genau dort geht es auch schief, ohne sichtbare Fehler. ## Das Retrieval bestimmt die Qualität Der wichtigste Punkt für den Projekt-Kickoff: **Die Qualität eines RAG-Systems ist fast vollständig die Qualität seines Retrievals, nicht seines Modells.** Schafft es der richtige Chunk nicht in den Prompt, antwortet kein Modell richtig. Es sagt entweder, dass es nichts weiß, oder schlimmer, [füllt die Lücke mit etwas Plausiblem](/de/blog/why-models-make-things-up/). Der Generierungsschritt ist nur so gut wie der Abruf, der ihn füttert. Wo solche Projekte kämpfen, liegt es fast immer am Retrieval, und fast immer an einem von diesen Punkten: - **Chunking.** Zerteilst du Dokumente zu klein, kappst du den Kontext, den ein Satz gebraucht hätte; zu groß, und die relevante Zeile geht in Rauschen unter, durch das sich das Modell wühlen muss. Es gibt keine universell richtige Größe, und eine falsche senkt die Antwortqualität, ohne dass in den Logs etwas davon zu sehen ist. - **Der Korpus ist inkonsistent.** Veraltete Runbooks, drei widersprüchliche Versionen derselben Richtlinie, ein Wiki, das zur Hälfte falsch ist. RAG ruft dein veraltetes Dokument treu ab und zitiert es mit voller Überzeugung. Falsche Eingaben ergeben falsche Ausgaben, *selbstbewusst* vorgetragen. RAG legt Dokumentationsschulden direkt offen. - **Berechtigungen.** In dem Moment, in dem dein Assistent „alle Firmendokumente“ lesen kann, kann er die Gehaltstabelle oder das Security-Review an jeden verraten, der fragt. Das Retrieval muss respektieren, wer was sehen darf, pro Nutzer, pro Anfrage, und das ist echtes Engineering für Zugriffskontrolle, kein Häkchen. Und ein Index aus Dokumenten mit personenbezogenen Daten [fällt unter die DSGVO](/de/blog/ai-and-the-law-gdpr-ai-act/) wie die Dokumente selbst. - **Feindlicher Text im Korpus.** Ein abgerufenes Dokument kann Anweisungen enthalten, und das Modell folgt ihnen womöglich: [Prompt Injection](/de/blog/prompt-injection/). Behandle abgerufenen Text als Daten und gib dem Assistenten keine Tools, die er missbrauchen könnte. - **Tabellen, PDFs, Bilder, Diagramme.** Die Hälfte deines echten Wissens ist keine saubere Prosa. Textextraktion aus einem gescannten PDF oder einer Tabelle ist ein eigenes Projekt, und was der Embedder nie sieht, kann das Retrieval nie finden. Nichts davon sind KI-Probleme. Es sind Daten-, Verrohrungs- und Zugriffskontrollprobleme, genau die Dinge, in denen ein Ops-Team ohnehin gut ist. Das Modell ist der einfache, weitgehend gelöste Teil, den du über eine API mietest. Jeder Ausschnitt, der an diese API geht, ist ebenfalls eine Verarbeitung deiner Daten: Er braucht einen Auftragsverarbeitungsvertrag, und bei Material unter Berufsgeheimnis einen Dienstleister, der zur Verschwiegenheit verpflichtet ist (§ 203 StGB). Die Datenpipeline drumherum ist das Projekt, und sie entscheidet, ob sich das System lohnt. ## Wofür es gut ist und wofür nicht

RAG glänzt

RAG tut sich schwer

Der Einsatzbereich ist schmal und real: *die relevante Passage nachschlagen und daraus antworten, mit einer Quellenangabe, die du zum Prüfen anklicken kannst.* Dieser letzte Teil ist der Hauptvorteil: Eine RAG-Antwort kann ihre Quellen zeigen, und das macht aus dem Modell statt eines Orakels, dem du glauben musst, einen Rechercheassistenten, den du überprüfen kannst. Genau diese Haltung [hält ein LLM an der richtigen Stelle in deiner Infrastruktur](/de/blog/llms-in-your-infrastructure/). ## Empfehlung Lautet die Anforderung „beantworte Fragen über unsere Dokumente“, ist RAG das richtige Muster, nicht Fine-Tuning und nicht das Warten auf ein Modell, das groß genug ist, um alles auswendig zu lernen. Aber plane es realistisch: Budgetier die Retrieval- und Datenarbeit als das eigentliche Projekt, behandle das LLM als gemietete Massenware und verlange Quellenangaben, damit jede Antwort prüfbar ist. So gebaut ist es nützlich. Baust du es als „Chatbot aufs Wiki richten und ausliefern“, bekommst du eine Suchleiste, die selbstbewusst falsche Antworten liefert. Wie überall bei dieser Technik liegt der Wert in der Disziplin drumherum, und der Großteil dieser Disziplin ist Verrohrung, die du schon beherrschst.