Wenn jemand “eine Suche, die versteht, was ich meine” haben will, steckt hinter dem
Verstehen meist kein Chat-Modell. Es ist ein Embedding-Modell: ein eigenes Modell, das
ein Stück Text liest und eine Liste von Zahlen fester Länge zurückgibt. imp, die
Inferenz-Engine, die ich baue, stellt eins (nomic-embed-text) unter /v1/embeddings
bereit, neben den Chat-Modellen. Dieser Beitrag erklärt, was diese Zahlen sind, wie sie
verglichen werden und wo sie nicht mehr funktionieren.
Ein Vektor ist eine Position#
Ein Vektor ist eine geordnete Liste von Zahlen. Zwei Zahlen sind ein Punkt auf einer
Karte: wie weit nach rechts, wie weit nach oben. Drei Zahlen sind ein Punkt in einem
Raum. Ein Embedding ist dieselbe Idee mit sehr viel mehr Zahlen. Die
Model Card von nomic-embed-text v1.5
nennt 768 pro Text, der
Embeddings-Guide von OpenAI
nennt 1 536 für text-embedding-3-small und 3 072 für text-embedding-3-large.
768 Richtungen kann sich niemand vorstellen, aber die Rechnung ist dieselbe wie auf der
Karte.
Erst das Training gibt der Position eine Bedeutung. “Wie setze ich mein Passwort zurück” und “Schritte zur Wiederherstellung der Zugangsdaten” haben kein Wort gemeinsam, landen aber nah beieinander. “Wie viele Urlaubstage habe ich noch” landet ganz woanders.
Nähe messen: Kosinus-Ähnlichkeit#
Zeichne jeden Vektor als Pfeil vom selben Startpunkt aus. Die Kosinus-Ähnlichkeit ignoriert, wie lang die Pfeile sind, und schaut nur auf den Winkel zwischen ihnen. Gleiche Richtung ergibt 1, ein rechter Winkel 0, entgegengesetzte Richtungen -1. Eine Suche sortiert ihre Treffer nach dieser Zahl: je höher, desto näher in der Bedeutung.
Ein praktisches Detail: OpenAI schreibt, dass seine Embeddings auf Länge 1 normiert sind. Die Kosinus-Ähnlichkeit wird dadurch zu einem einfachen Skalarprodukt, und Kosinus und euklidischer Abstand ergeben dieselbe Reihenfolge. Vektoren zu vergleichen ist Multiplizieren und Addieren, deshalb kann eine Vektorsuche große Bestände schnell durchgehen.
Warum Bedeutung Stichwörter schlägt, und wo nicht#
Die Stichwortsuche findet Dokumente, die die eingetippten Wörter enthalten. Sie scheitert, sobald Leute für dieselbe Sache andere Wörter benutzen: Im Wiki steht “Zugangsdaten wiederherstellen”, der Nutzer tippt “komme nicht rein”. Eine Embedding-Suche macht vorab aus jedem Dokument-Abschnitt einen Vektor, bei der Anfrage aus der Frage ebenfalls, und liefert die Abschnitte, deren Vektoren am nächsten liegen. Ein gemeinsames Wort braucht es nicht.
Sie scheitert genau dort, wo die Stichwortsuche gut ist:
- Exakte Namen. Ein seltener Produkt- oder Personenname trägt kaum eigene Bedeutung. Sein Vektor landet in der Nähe dessen, wonach der Name klingt, nicht unbedingt beim einen Dokument, in dem er vorkommt.
- Zahlen und IDs. Ticket
INC-40512und TicketINC-40521sind zwei verschiedene Störungen, als Text aber fast identisch. Versionsnummern, Artikelnummern, Fehlercodes: alles, wo ein Zeichen die Bedeutung ändert. - Gegenteile zum selben Thema. Embeddings erfassen, worum es in einem Text geht. “Der Drucker kann duplex” und “der Drucker kann kein duplex” handeln von derselben Sache und können deshalb nah beieinander liegen.
Die übliche Lösung ist, beides laufen zu lassen und die Ergebnisse zusammenzuführen, meist Hybrid-Suche genannt: Stichwortsuche für exakte Begriffe, Embeddings für die Bedeutung. Wenn deine Nutzer nach Ticketnummern suchen, behalte den Stichwortindex.
Wofür Embeddings eingesetzt werden#
- Semantische Suche in Intranet, Ticket-Historie oder Dokumentation.
- RAG, die Such-Hälfte davon, ein LLM auf die eigenen Dokumente anzusetzen: Die nächstgelegenen Abschnitte kommen in den Prompt, und das Chat-Modell antwortet daraus.
- Clustering: einen Stapel Support-Tickets nach Thema gruppieren, ohne vorher Kategorien festzulegen.
- Dubletten finden: Fast gleiche Vektoren markieren denselben Inhalt in anderen Worten, etwa doppelte Tickets oder drei Kopien derselben Richtlinie.
Der Guide von OpenAI nennt zusätzlich Empfehlungen, Anomalieerkennung und Klassifikation. Embeddings gehören zu den Familien von KI, die keine Chat-Modelle sind, und im Unternehmen sind sie oft die nützlichere.
Embedding-Modell vs. Chat-Modell#
Die beiden machen verschiedene Arbeit. Ein Chat-Modell liest Text und schreibt neuen Text, Token für Token. Ein Embedding-Modell liest Text und gibt einen Vektor zurück; es erzeugt nichts, also läuft es einmal über die Eingabe und hört auf. Daraus folgen zwei Regeln:
- Dokumente und Anfragen müssen vom selben Modell kommen. Jedes Modell baut seinen eigenen Raum. Ein Vektor aus dem einen Modell, verglichen mit einem aus einem anderen, ergibt eine bedeutungslose Zahl. Wer das Embedding-Modell wechselt, muss jedes Dokument neu einbetten.
- Lies die Model Card auf Eingaberegeln. Laut der nomic-Card muss der Text mit
einem Aufgaben-Präfix wie
search_query:odersearch_document:beginnen. Ohne Präfix liefert das Modell trotzdem einen Vektor, ein fehlendes Präfix erzeugt also keinen Fehler.
Eingaben haben außerdem eine Längengrenze, gemessen in Tokens: 8 192 bei nomic-embed-text v1.5 und bei beiden OpenAI-Modellen oben. In der Praxis teilst du Dokumente lange vorher in Abschnitte, weil ein einziger Vektor für ein ganzes Handbuch wenig über eine einzelne Seite darin aussagt.
Dimensionen und Speicherkosten#
Jede Zahl im Vektor wird typischerweise als 32-Bit-Float gespeichert, also 4 Byte. Ein Vektor mit 768 Dimensionen braucht 768 × 4 = 3 072 Byte. Für eine Million Abschnitte sind das 3 072 × 1 000 000 = 3,07 GB, noch ohne Suchindex darüber.
Du kannst Größe gegen etwas Genauigkeit tauschen. Die nomic-v1.5-Card unterstützt 768,
512, 256, 128 und 64 Dimensionen und beschreibt das als Tausch von Größe gegen einen
kleinen Leistungsverlust. OpenAI bietet einen Parameter dimensions, der Zahlen vom
Ende des Vektors entfernt. Mit 256 Dimensionen braucht dieselbe Million Abschnitte
256 × 4 × 1 000 000 = 1,02 GB. Ob der kürzere Vektor noch reicht, testest du an deinen
eigenen Dokumenten, statt es anzunehmen.
Reranking: der zweite Durchgang#
Die Embedding-Suche ist schnell, weil die Dokument-Vektoren vorab berechnet wurden: Bei
der Anfrage begegnen sich Frage und Dokumente nie in einem Modell, nur ihre Vektoren
werden verglichen. Ein Reranker liest beide zusammen.
Qwen3-Reranker, den imp unter
/v1/rerank bereitstellt, nimmt eine Anfrage und ein Dokument als Paar und macht aus
der Wahrscheinlichkeit des Modells für “yes” gegenüber “no” einen Relevanzwert. Es gibt
ihn in den Größen 0.6B, 4B und 8B. Weil er beide Texte gleichzeitig sieht, kann er
beurteilen, ob ein Abschnitt die Frage beantwortet, nicht nur, ob er zum selben Thema
gehört.
Der Preis ist ein Modellaufruf pro Paar, über eine Million Abschnitte pro Frage geht das also nicht. Die übliche Pipeline hat zwei Stufen: Embeddings grenzen einen großen Bestand auf eine kurze Liste ein, etwa die besten 50, der Reranker sortiert diese Liste neu, und nur die obersten paar gehen an das Chat-Modell.
Fazit#
Ein Embedding ist eine Position: Text rein, eine Liste von Zahlen fester Länge raus, so trainiert, dass ähnliche Bedeutung nah beieinander landet. Die Kosinus-Ähnlichkeit misst diese Nähe über den Winkel. Eine Suche damit findet “Zugangsdaten wiederherstellen”, wenn jemand “komme nicht rein” tippt, und sie ist unzuverlässig bei Namen, IDs und Zahlen, also behalte die Stichwortsuche daneben. Nutze dasselbe Modell für Dokumente und Anfragen, rechne mit 4 Byte pro Dimension und Abschnitt, und nimm einen Reranker dazu, wenn die obersten Treffer zwar zum Thema passen, aber nicht ganz treffen.