# Wie ein Modell ein Bild sieht > Du kannst einer modernen KI ein Foto geben und Fragen dazu stellen. Ein Sprachmodell versteht nur Tokens; so kommt Sehen in ein Modell, das nur Wörter kannte. Source: https://rfriedmann.de/de/blog/how-models-see-images/ · English: https://rfriedmann.de/blog/how-models-see-images/ Published: 2026-06-23 · Track: learn · Level: Beginner Wirf ein Foto in einen modernen Chatbot und frag „Was stimmt an diesem Diagramm nicht?“ oder „Lies die Handschrift“ oder „Kann ich das noch essen?“, und er antwortet. Das ist neu, denn alles, was wir bisher besprochen haben, dreht sich um ein Modell, das mit [Text arbeitet, zerlegt in Tokens](/de/blog/why-models-cant-spell/). Ein Bild ist kein Text. Die kurze Antwort: Das Bild wird in dieselbe Art von Zahlen übersetzt, die das Modell schon für Wörter benutzt, und ab da wird es einfach als weitere „Tokens“ gelesen. Die entscheidende Komponente ist der Übersetzer. ## Zur Erinnerung: Innen ist alles Zahlen Aus [was ein LLM ist](/de/blog/what-is-an-llm/): Ein Wort kommt nie als Buchstaben ins Modell. Es wird in eine Liste von Zahlen verwandelt, einen Vektor, der seine Bedeutung erfasst, und das Modell arbeitet immer nur mit diesen Vektoren. „Katze“ und „Kätzchen“ werden zu nahe beieinanderliegenden Vektoren, „Katze“ und „Lastwagen“ zu weit entfernten. Die ganze Fähigkeit des Modells besteht darin, mit diesen Bedeutungsvektoren zu hantieren. So kommt das Sehen ins Modell. Wenn du ein *Bild* in dieselbe Art von Bedeutungsvektoren verwandeln kannst, ist es dem Modell egal, dass sie nicht aus Wörtern stammen. Für das Modell sind es einfach weitere Zahlen im Strom, über die es nachdenken kann. ## Der Übersetzer: ein Vision-Encoder Die Aufgabe lautet also: Bild rein, Bedeutungsvektoren raus. Das erledigt eine eigene Komponente, ein **Vision-Encoder**, der vor dem Sprachmodell sitzt.
Ein Bild wird zu Patches, dann zu Bedeutungsvektoren, die das Modell lesen kann
[diagram omitted — see the page for the chart]
Das Bild wird in ein Raster kleiner Patches zerlegt, jeder Patch wird zu einem Bedeutungsvektor, und die landen im Strom des Modells direkt neben den Wortvektoren deiner Frage. Ab da denkt das Modell über Wörter und Bild gemeinsam nach, als eine einzige Sequenz.
Zwei Dinge sorgen dafür, dass das funktioniert. Erstens wird das Bild in ein Raster kleiner **Patches** zerlegt (denk an ein Mosaik), und jeder Patch wird zu einem Vektor; aus einem Bild werden so eine Handvoll bis ein paar Hundert Bild-„Tokens“. Zweitens wurde der Encoder mit riesigen Mengen an Bild-Bildunterschrift-Paaren trainiert, er hat also gelernt, visuelle Inhalte auf Vektoren abzubilden, die mit der *sprachlichen* Bedeutung übereinstimmen. Ein Patch mit orangefarbenem Fell landet in der Nähe der Region, in der das Wort „Katze“ wohnt. Diese Ausrichtung erlaubt es dem Modell, über das zu reden, was es sieht. Sind die Bild-Tokens erst im Strom, gibt es keinen besonderen „Hinschau“-Schritt. Das Modell setzt einfach die kombinierte Sequenz aus Wort- und Bild-Tokens mit seinem üblichen Raten des nächsten Tokens fort. Deshalb kann es Fragen beantworten, beschreiben, vergleichen, sogar Text aus einem Foto lesen, alles mit derselben Maschinerie. ## Stärken und Grenzen Sehen ist nützlich, aber die Qualität ist ungleichmäßig. Wenn du das Muster kennst, kannst du ihm an den richtigen Stellen vertrauen. - **Stark im Groben.** Was in der Szene ist, sie beschreiben, einordnen, Alt-Text entwerfen, die Gesamtaussage eines Diagramms erklären. Das grobe „Was sehe ich hier?“ ist oft sehr gut. - **Wackelig beim Präzisen.** Exakte Anzahlen („Wie viele Leute?“), feine räumliche Details, winziger oder unordentlicher Text, genaue Maße. Das Patch-Raster verwischt feine Details, und das Modell [rät die plausible Antwort](/de/blog/why-models-make-things-up/), was bei „Zähl die Objekte“ selbstsicher falsch sein kann. - **OCR ist ordentlich, nicht perfekt.** Klaren gedruckten Text liest es oft gut, bei Handschrift, schwachem Kontrast oder ungewöhnlichen Layouts macht es Fehler. Behandle alles, was es aus einem Bild abschreibt, als Entwurf zum Prüfen, nicht als Scan. - **Es lässt sich von Erwartungen täuschen.** Zeig ihm eine Uhr, und es „liest“ vielleicht eine typische Uhrzeit statt der tatsächlich angezeigten, weil es das Plausible dem Wörtlichen vorzieht, dieselbe Neigung wie bei Text. ## Dieselbe Idee, andere Sinne Nichts davon ist speziell für Bilder. Audio funktioniert genauso: Ein Audio-Encoder verwandelt Sprache in Vektoren, und das Modell liest sie. So verstehen dich Sprachassistenten, und so kann ein Modell eine Meeting-Aufnahme zusammenfassen. Manche Modelle gehen auch in die andere Richtung und erzeugen Bilder oder Sprache, indem sie die Übersetzung umgekehrt laufen lassen. Es ist immer dasselbe Rezept: die Modalität in die Zahlensprache des Modells übersetzen oder die Zahlensprache wieder zurück. Bildgeneratoren gehen von dort einen anderen Weg, beschrieben in [wie ein Bildgenerator aus Rauschen ein Bild erzeugt](/de/blog/how-image-generators-work/). Genau so sind auch die Welten der [KI jenseits von LLMs](/de/blog/ai-that-isnt-an-llm/), Bild- und Spracherkennung, lange getrennte Fachgebiete, in ein einziges Gesprächsmodell eingeflossen. Der vereinheitlichende Schritt war die Erkenntnis: Wenn alles zu Bedeutungsvektoren wird, kann ein Modell über alles gleichzeitig nachdenken. ## Was du mitnimmst Ein multimodales Modell hat weniger einen neuen Sinn bekommen als einen neuen *Übersetzer*. Das Bild wird in dieselben Bedeutungsvektoren umgewandelt, die das Modell schon für Wörter benutzt, und dann läuft alles wie gewohnt: den kombinierten Strom lesen, raten, was als Nächstes kommt. Deshalb ist sein Sehen flüssig und übersieht gleichzeitig manchmal wörtliche Details: Es ist dieselbe [Mustermaschine](/de/blog/what-is-an-llm/), jetzt mit Bildern gefüttert. Verlässlich im Groben, beim Präzisen lohnt das Nachprüfen, wie bei Wörtern.