# Embeddings: wie aus Text eine Liste von Zahlen wird
> Ein Embedding macht aus Text eine Liste von Zahlen, so dass ähnliche Bedeutung nah beieinander landet. Wie das Suche und RAG antreibt, wo es scheitert und was die Vektoren an Speicher kosten.
Source: https://rfriedmann.de/de/blog/embeddings-explained/ · English: https://rfriedmann.de/blog/embeddings-explained/
Published: 2026-11-18 · Track: learn · Level: Beginner
Wenn jemand "eine Suche, die versteht, was ich meine" haben will, steckt hinter dem
Verstehen meist kein Chat-Modell. Es ist ein Embedding-Modell: ein eigenes Modell, das
ein Stück Text liest und eine Liste von Zahlen fester Länge zurückgibt. imp, die
Inferenz-Engine, die ich baue, stellt eins (nomic-embed-text) unter `/v1/embeddings`
bereit, neben den Chat-Modellen. Dieser Beitrag erklärt, was diese Zahlen sind, wie sie
verglichen werden und wo sie nicht mehr funktionieren.
## Ein Vektor ist eine Position
Ein Vektor ist eine geordnete Liste von Zahlen. Zwei Zahlen sind ein Punkt auf einer
Karte: wie weit nach rechts, wie weit nach oben. Drei Zahlen sind ein Punkt in einem
Raum. Ein Embedding ist dieselbe Idee mit sehr viel mehr Zahlen. Die
[Model Card von nomic-embed-text v1.5](https://huggingface.co/nomic-ai/nomic-embed-text-v1.5)
nennt 768 pro Text, der
[Embeddings-Guide von OpenAI](https://developers.openai.com/api/docs/guides/embeddings)
nennt 1 536 für `text-embedding-3-small` und 3 072 für `text-embedding-3-large`.
768 Richtungen kann sich niemand vorstellen, aber die Rechnung ist dieselbe wie auf der
Karte.
Erst das Training gibt der Position eine Bedeutung. "Wie setze ich mein Passwort
zurück" und "Schritte zur Wiederherstellung der Zugangsdaten" haben kein Wort gemeinsam,
landen aber nah beieinander. "Wie viele Urlaubstage habe ich noch" landet ganz woanders.
Ähnliche Bedeutung, nahe Punkte (Skizze)
[diagram omitted — see the page for the chart]Die Idee in zwei Dimensionen. Die Anfrage teilt kein Wort mit "Zugangsdaten wiederherstellen", landet aber direkt daneben, also findet eine Suche nach Abstand sie. Die Positionen sind zur Veranschaulichung gezeichnet, nicht berechnet.
## Nähe messen: Kosinus-Ähnlichkeit
Zeichne jeden Vektor als Pfeil vom selben Startpunkt aus. Die Kosinus-Ähnlichkeit
ignoriert, wie lang die Pfeile sind, und schaut nur auf den Winkel zwischen ihnen.
Gleiche Richtung ergibt 1, ein rechter Winkel 0, entgegengesetzte Richtungen -1. Eine
Suche sortiert ihre Treffer nach dieser Zahl: je höher, desto näher in der Bedeutung.
Kosinus-Ähnlichkeit schaut auf den Winkel
[diagram omitted — see the page for the chart]Nur die Richtung zählt. Zwei Texte über dasselbe zeigen in dieselbe Richtung, egal wie lang jeder davon ist.
Ein praktisches Detail: OpenAI schreibt, dass seine Embeddings auf Länge 1 normiert
sind. Die Kosinus-Ähnlichkeit wird dadurch zu einem einfachen Skalarprodukt, und
Kosinus und euklidischer Abstand ergeben dieselbe Reihenfolge. Vektoren zu vergleichen
ist Multiplizieren und Addieren, deshalb kann eine Vektorsuche große Bestände schnell
durchgehen.
## Warum Bedeutung Stichwörter schlägt, und wo nicht
Die Stichwortsuche findet Dokumente, die die eingetippten Wörter enthalten. Sie
scheitert, sobald Leute für dieselbe Sache andere Wörter benutzen: Im Wiki steht
"Zugangsdaten wiederherstellen", der Nutzer tippt "komme nicht rein". Eine
Embedding-Suche macht vorab aus jedem Dokument-Abschnitt einen Vektor, bei der Anfrage
aus der Frage ebenfalls, und liefert die Abschnitte, deren Vektoren am nächsten liegen.
Ein gemeinsames Wort braucht es nicht.
Sie scheitert genau dort, wo die Stichwortsuche gut ist:
- **Exakte Namen.** Ein seltener Produkt- oder Personenname trägt kaum eigene
Bedeutung. Sein Vektor landet in der Nähe dessen, wonach der Name klingt, nicht
unbedingt beim einen Dokument, in dem er vorkommt.
- **Zahlen und IDs.** Ticket `INC-40512` und Ticket `INC-40521` sind zwei verschiedene
Störungen, als Text aber fast identisch. Versionsnummern, Artikelnummern,
Fehlercodes: alles, wo ein Zeichen die Bedeutung ändert.
- **Gegenteile zum selben Thema.** Embeddings erfassen, worum es in einem Text geht.
"Der Drucker kann duplex" und "der Drucker kann kein duplex" handeln von derselben
Sache und können deshalb nah beieinander liegen.
Die übliche Lösung ist, beides laufen zu lassen und die Ergebnisse zusammenzuführen,
meist Hybrid-Suche genannt: Stichwortsuche für exakte Begriffe, Embeddings für die
Bedeutung. Wenn deine Nutzer nach Ticketnummern suchen, behalte den Stichwortindex.
## Wofür Embeddings eingesetzt werden
- **Semantische Suche** in Intranet, Ticket-Historie oder Dokumentation.
- **RAG**, die Such-Hälfte davon,
[ein LLM auf die eigenen Dokumente anzusetzen](/de/blog/your-own-documents/): Die
nächstgelegenen Abschnitte kommen in den Prompt, und das Chat-Modell antwortet daraus.
- **Clustering**: einen Stapel Support-Tickets nach Thema gruppieren, ohne vorher
Kategorien festzulegen.
- **Dubletten finden**: Fast gleiche Vektoren markieren denselben Inhalt in anderen
Worten, etwa doppelte Tickets oder drei Kopien derselben Richtlinie.
Der Guide von OpenAI nennt zusätzlich Empfehlungen, Anomalieerkennung und
Klassifikation. Embeddings gehören zu den
[Familien von KI, die keine Chat-Modelle sind](/de/blog/ai-that-isnt-an-llm/), und im
Unternehmen sind sie oft die nützlichere.
## Embedding-Modell vs. Chat-Modell
Die beiden machen verschiedene Arbeit. Ein [Chat-Modell](/de/blog/what-is-an-llm/) liest
Text und schreibt neuen Text, Token für Token. Ein Embedding-Modell liest Text und gibt
einen Vektor zurück; es erzeugt nichts, also läuft es einmal über die Eingabe und hört
auf. Daraus folgen zwei Regeln:
1. **Dokumente und Anfragen müssen vom selben Modell kommen.** Jedes Modell baut seinen
eigenen Raum. Ein Vektor aus dem einen Modell, verglichen mit einem aus einem
anderen, ergibt eine bedeutungslose Zahl. Wer das Embedding-Modell wechselt, muss
jedes Dokument neu einbetten.
2. **Lies die Model Card auf Eingaberegeln.** Laut der nomic-Card muss der Text mit
einem Aufgaben-Präfix wie `search_query:` oder `search_document:` beginnen. Ohne
Präfix liefert das Modell trotzdem einen Vektor, ein fehlendes Präfix erzeugt also
keinen Fehler.
Eingaben haben außerdem eine Längengrenze, gemessen in
[Tokens](/de/blog/why-models-cant-spell/): 8 192 bei nomic-embed-text v1.5 und bei
beiden OpenAI-Modellen oben. In der Praxis teilst du Dokumente lange vorher in
Abschnitte, weil ein einziger Vektor für ein ganzes Handbuch wenig über eine einzelne
Seite darin aussagt.
## Dimensionen und Speicherkosten
Jede Zahl im Vektor wird typischerweise als 32-Bit-Float gespeichert, also 4 Byte. Ein
Vektor mit 768 Dimensionen braucht 768 × 4 = 3 072 Byte. Für eine Million Abschnitte
sind das 3 072 × 1 000 000 = 3,07 GB, noch ohne Suchindex darüber.
Rohspeicher für eine Million Vektoren (32-Bit-Floats)
[diagram omitted — see the page for the chart]Dimensionen × 4 Byte × 1 000 000. Dimensionszahlen aus der nomic Model Card und dem OpenAI-Embeddings-Guide, die Rechnung ist meine. Indexstrukturen kommen noch dazu.
Du kannst Größe gegen etwas Genauigkeit tauschen. Die nomic-v1.5-Card unterstützt 768,
512, 256, 128 und 64 Dimensionen und beschreibt das als Tausch von Größe gegen einen
kleinen Leistungsverlust. OpenAI bietet einen Parameter `dimensions`, der Zahlen vom
Ende des Vektors entfernt. Mit 256 Dimensionen braucht dieselbe Million Abschnitte
256 × 4 × 1 000 000 = 1,02 GB. Ob der kürzere Vektor noch reicht, testest du an deinen
eigenen Dokumenten, statt es anzunehmen.
## Reranking: der zweite Durchgang
Die Embedding-Suche ist schnell, weil die Dokument-Vektoren vorab berechnet wurden: Bei
der Anfrage begegnen sich Frage und Dokumente nie in einem Modell, nur ihre Vektoren
werden verglichen. Ein Reranker liest beide zusammen.
[Qwen3-Reranker](https://huggingface.co/Qwen/Qwen3-Reranker-0.6B), den imp unter
`/v1/rerank` bereitstellt, nimmt eine Anfrage und ein Dokument als Paar und macht aus
der Wahrscheinlichkeit des Modells für "yes" gegenüber "no" einen Relevanzwert. Es gibt
ihn in den Größen 0.6B, 4B und 8B. Weil er beide Texte gleichzeitig sieht, kann er
beurteilen, ob ein Abschnitt die Frage beantwortet, nicht nur, ob er zum selben Thema
gehört.
Der Preis ist ein Modellaufruf pro Paar, über eine Million Abschnitte pro Frage geht
das also nicht. Die übliche Pipeline hat zwei Stufen: Embeddings grenzen einen großen
Bestand auf eine kurze Liste ein, etwa die besten 50, der Reranker sortiert diese Liste
neu, und nur die obersten paar gehen an das Chat-Modell.
## Fazit
Ein Embedding ist eine Position: Text rein, eine Liste von Zahlen fester Länge raus, so
trainiert, dass ähnliche Bedeutung nah beieinander landet. Die Kosinus-Ähnlichkeit misst
diese Nähe über den Winkel. Eine Suche damit findet "Zugangsdaten wiederherstellen", wenn jemand
"komme nicht rein" tippt, und sie ist unzuverlässig bei Namen, IDs und Zahlen, also
behalte die Stichwortsuche daneben. Nutze dasselbe Modell für Dokumente und Anfragen,
rechne mit 4 Byte pro Dimension und Abschnitt, und nimm einen Reranker dazu, wenn die
obersten Treffer zwar zum Thema passen, aber nicht ganz treffen.