Raphael Friedmann
← KI verstehen

Embeddings: wie aus Text eine Liste von Zahlen wird

Ein Embedding macht aus Text eine Liste von Zahlen, so dass ähnliche Bedeutung nah beieinander landet. Wie das Suche und RAG antreibt, wo es scheitert und was die Vektoren an Speicher kosten.

Wenn jemand “eine Suche, die versteht, was ich meine” haben will, steckt hinter dem Verstehen meist kein Chat-Modell. Es ist ein Embedding-Modell: ein eigenes Modell, das ein Stück Text liest und eine Liste von Zahlen fester Länge zurückgibt. imp, die Inferenz-Engine, die ich baue, stellt eins (nomic-embed-text) unter /v1/embeddings bereit, neben den Chat-Modellen. Dieser Beitrag erklärt, was diese Zahlen sind, wie sie verglichen werden und wo sie nicht mehr funktionieren.

Ein Vektor ist eine Position#

Ein Vektor ist eine geordnete Liste von Zahlen. Zwei Zahlen sind ein Punkt auf einer Karte: wie weit nach rechts, wie weit nach oben. Drei Zahlen sind ein Punkt in einem Raum. Ein Embedding ist dieselbe Idee mit sehr viel mehr Zahlen. Die Model Card von nomic-embed-text v1.5 nennt 768 pro Text, der Embeddings-Guide von OpenAI nennt 1 536 für text-embedding-3-small und 3 072 für text-embedding-3-large. 768 Richtungen kann sich niemand vorstellen, aber die Rechnung ist dieselbe wie auf der Karte.

Erst das Training gibt der Position eine Bedeutung. “Wie setze ich mein Passwort zurück” und “Schritte zur Wiederherstellung der Zugangsdaten” haben kein Wort gemeinsam, landen aber nah beieinander. “Wie viele Urlaubstage habe ich noch” landet ganz woanders.

Ähnliche Bedeutung, nahe Punkte (Skizze)
LoginPasswort zurücksetzenLogin vergessenZugangsdaten wiederherstellenAnfrage: "komme nicht rein"Rechnungwo ist meine RechnungRechnungsadresse ändernZahlungserinnerungUrlaubrestliche UrlaubstageUrlaub beantragenSkizze: Positionen sind erfunden, echte Embeddings haben Hunderte Dimensionen
Die Idee in zwei Dimensionen. Die Anfrage teilt kein Wort mit "Zugangsdaten wiederherstellen", landet aber direkt daneben, also findet eine Suche nach Abstand sie. Die Positionen sind zur Veranschaulichung gezeichnet, nicht berechnet.

Nähe messen: Kosinus-Ähnlichkeit#

Zeichne jeden Vektor als Pfeil vom selben Startpunkt aus. Die Kosinus-Ähnlichkeit ignoriert, wie lang die Pfeile sind, und schaut nur auf den Winkel zwischen ihnen. Gleiche Richtung ergibt 1, ein rechter Winkel 0, entgegengesetzte Richtungen -1. Eine Suche sortiert ihre Treffer nach dieser Zahl: je höher, desto näher in der Bedeutung.

Kosinus-Ähnlichkeit schaut auf den Winkel
Passwort zurücksetzenZugangsdaten wiederherstellenrestliche Urlaubstagekleiner Winkel: ähnlichKosinus nahe 1fast rechter Winkel: fremdKosinus nahe 0
Nur die Richtung zählt. Zwei Texte über dasselbe zeigen in dieselbe Richtung, egal wie lang jeder davon ist.

Ein praktisches Detail: OpenAI schreibt, dass seine Embeddings auf Länge 1 normiert sind. Die Kosinus-Ähnlichkeit wird dadurch zu einem einfachen Skalarprodukt, und Kosinus und euklidischer Abstand ergeben dieselbe Reihenfolge. Vektoren zu vergleichen ist Multiplizieren und Addieren, deshalb kann eine Vektorsuche große Bestände schnell durchgehen.

Warum Bedeutung Stichwörter schlägt, und wo nicht#

Die Stichwortsuche findet Dokumente, die die eingetippten Wörter enthalten. Sie scheitert, sobald Leute für dieselbe Sache andere Wörter benutzen: Im Wiki steht “Zugangsdaten wiederherstellen”, der Nutzer tippt “komme nicht rein”. Eine Embedding-Suche macht vorab aus jedem Dokument-Abschnitt einen Vektor, bei der Anfrage aus der Frage ebenfalls, und liefert die Abschnitte, deren Vektoren am nächsten liegen. Ein gemeinsames Wort braucht es nicht.

Sie scheitert genau dort, wo die Stichwortsuche gut ist:

  • Exakte Namen. Ein seltener Produkt- oder Personenname trägt kaum eigene Bedeutung. Sein Vektor landet in der Nähe dessen, wonach der Name klingt, nicht unbedingt beim einen Dokument, in dem er vorkommt.
  • Zahlen und IDs. Ticket INC-40512 und Ticket INC-40521 sind zwei verschiedene Störungen, als Text aber fast identisch. Versionsnummern, Artikelnummern, Fehlercodes: alles, wo ein Zeichen die Bedeutung ändert.
  • Gegenteile zum selben Thema. Embeddings erfassen, worum es in einem Text geht. “Der Drucker kann duplex” und “der Drucker kann kein duplex” handeln von derselben Sache und können deshalb nah beieinander liegen.

Die übliche Lösung ist, beides laufen zu lassen und die Ergebnisse zusammenzuführen, meist Hybrid-Suche genannt: Stichwortsuche für exakte Begriffe, Embeddings für die Bedeutung. Wenn deine Nutzer nach Ticketnummern suchen, behalte den Stichwortindex.

Wofür Embeddings eingesetzt werden#

  • Semantische Suche in Intranet, Ticket-Historie oder Dokumentation.
  • RAG, die Such-Hälfte davon, ein LLM auf die eigenen Dokumente anzusetzen: Die nächstgelegenen Abschnitte kommen in den Prompt, und das Chat-Modell antwortet daraus.
  • Clustering: einen Stapel Support-Tickets nach Thema gruppieren, ohne vorher Kategorien festzulegen.
  • Dubletten finden: Fast gleiche Vektoren markieren denselben Inhalt in anderen Worten, etwa doppelte Tickets oder drei Kopien derselben Richtlinie.

Der Guide von OpenAI nennt zusätzlich Empfehlungen, Anomalieerkennung und Klassifikation. Embeddings gehören zu den Familien von KI, die keine Chat-Modelle sind, und im Unternehmen sind sie oft die nützlichere.

Embedding-Modell vs. Chat-Modell#

Die beiden machen verschiedene Arbeit. Ein Chat-Modell liest Text und schreibt neuen Text, Token für Token. Ein Embedding-Modell liest Text und gibt einen Vektor zurück; es erzeugt nichts, also läuft es einmal über die Eingabe und hört auf. Daraus folgen zwei Regeln:

  1. Dokumente und Anfragen müssen vom selben Modell kommen. Jedes Modell baut seinen eigenen Raum. Ein Vektor aus dem einen Modell, verglichen mit einem aus einem anderen, ergibt eine bedeutungslose Zahl. Wer das Embedding-Modell wechselt, muss jedes Dokument neu einbetten.
  2. Lies die Model Card auf Eingaberegeln. Laut der nomic-Card muss der Text mit einem Aufgaben-Präfix wie search_query: oder search_document: beginnen. Ohne Präfix liefert das Modell trotzdem einen Vektor, ein fehlendes Präfix erzeugt also keinen Fehler.

Eingaben haben außerdem eine Längengrenze, gemessen in Tokens: 8 192 bei nomic-embed-text v1.5 und bei beiden OpenAI-Modellen oben. In der Praxis teilst du Dokumente lange vorher in Abschnitte, weil ein einziger Vektor für ein ganzes Handbuch wenig über eine einzelne Seite darin aussagt.

Dimensionen und Speicherkosten#

Jede Zahl im Vektor wird typischerweise als 32-Bit-Float gespeichert, also 4 Byte. Ein Vektor mit 768 Dimensionen braucht 768 × 4 = 3 072 Byte. Für eine Million Abschnitte sind das 3 072 × 1 000 000 = 3,07 GB, noch ohne Suchindex darüber.

Rohspeicher für eine Million Vektoren (32-Bit-Floats)
nomic v1.5, 256 Dim.1,0 GBnomic v1.5, 768 Dim.3,1 GBOpenAI 3-small, 1 5366,1 GBOpenAI 3-large, 3 07212,3 GB
Dimensionen × 4 Byte × 1 000 000. Dimensionszahlen aus der nomic Model Card und dem OpenAI-Embeddings-Guide, die Rechnung ist meine. Indexstrukturen kommen noch dazu.

Du kannst Größe gegen etwas Genauigkeit tauschen. Die nomic-v1.5-Card unterstützt 768, 512, 256, 128 und 64 Dimensionen und beschreibt das als Tausch von Größe gegen einen kleinen Leistungsverlust. OpenAI bietet einen Parameter dimensions, der Zahlen vom Ende des Vektors entfernt. Mit 256 Dimensionen braucht dieselbe Million Abschnitte 256 × 4 × 1 000 000 = 1,02 GB. Ob der kürzere Vektor noch reicht, testest du an deinen eigenen Dokumenten, statt es anzunehmen.

Reranking: der zweite Durchgang#

Die Embedding-Suche ist schnell, weil die Dokument-Vektoren vorab berechnet wurden: Bei der Anfrage begegnen sich Frage und Dokumente nie in einem Modell, nur ihre Vektoren werden verglichen. Ein Reranker liest beide zusammen. Qwen3-Reranker, den imp unter /v1/rerank bereitstellt, nimmt eine Anfrage und ein Dokument als Paar und macht aus der Wahrscheinlichkeit des Modells für “yes” gegenüber “no” einen Relevanzwert. Es gibt ihn in den Größen 0.6B, 4B und 8B. Weil er beide Texte gleichzeitig sieht, kann er beurteilen, ob ein Abschnitt die Frage beantwortet, nicht nur, ob er zum selben Thema gehört.

Der Preis ist ein Modellaufruf pro Paar, über eine Million Abschnitte pro Frage geht das also nicht. Die übliche Pipeline hat zwei Stufen: Embeddings grenzen einen großen Bestand auf eine kurze Liste ein, etwa die besten 50, der Reranker sortiert diese Liste neu, und nur die obersten paar gehen an das Chat-Modell.

Fazit#

Ein Embedding ist eine Position: Text rein, eine Liste von Zahlen fester Länge raus, so trainiert, dass ähnliche Bedeutung nah beieinander landet. Die Kosinus-Ähnlichkeit misst diese Nähe über den Winkel. Eine Suche damit findet “Zugangsdaten wiederherstellen”, wenn jemand “komme nicht rein” tippt, und sie ist unzuverlässig bei Namen, IDs und Zahlen, also behalte die Stichwortsuche daneben. Nutze dasselbe Modell für Dokumente und Anfragen, rechne mit 4 Byte pro Dimension und Abschnitt, und nimm einen Reranker dazu, wenn die obersten Treffer zwar zum Thema passen, aber nicht ganz treffen.