# KI, die kein LLM ist
> Sprachmodelle sind eine Familie der KI unter mehreren. Ein Rundgang durch die anderen großen Familien, wofür jede da ist und wann ein LLM das falsche Werkzeug ist.
Source: https://rfriedmann.de/de/blog/ai-that-isnt-an-llm/ · English: https://rfriedmann.de/blog/ai-that-isnt-an-llm/
Published: 2026-06-15 · Track: learn · Level: Beginner
Fast alles auf dieser Seite dreht sich um große Sprachmodelle, weil ich dafür baue.
Aber ein LLM ist eine Familie der KI, nicht das ganze Feld, und zu einem zu greifen,
wenn dein Problem nicht „Text erzeugen“ heißt, ist ein häufiger und teurer Fehler. Hier
ein Rundgang durch die anderen großen Familien und das, was jede wirklich gut kann.
KI ist größer als LLMs
[diagram omitted — see the page for the chart]Wenn deine Ausgabe kein offener Text ist, ist ein LLM oft das falsche Werkzeug für die Aufgabe.
Zuerst eine Sache, um die es in diesem Beitrag *nicht* geht. Mein Beitrag über
[Modelle, die keine Transformer sind](/de/blog/when-the-model-is-not-a-transformer/),
behandelt LLMs mit einem anderen inneren Aufbau. Das sind trotzdem LLMs, die den Job
eines LLM machen. Hier geht es um Systeme, die einen völlig anderen Job erledigen.
## Diffusionsmodelle: Bilder und Videos erzeugen
Wenn du aus einem Prompt ein Bild erzeugst, macht das kein LLM. Das ist ein
**Diffusionsmodell**, und es funktioniert völlig anders: Es startet mit reinem
visuellem Rauschen und räumt es dann immer wieder auf, Schritt für Schritt, bis aus dem
Rauschen ein Bild auftaucht, das zu deinem Prompt passt.
Das ist die umgekehrte Form zur Ein-Wort-nach-dem-anderen-Schleife eines LLM: Das
ganze Bild wird auf einmal verfeinert, immer wieder, statt von links nach rechts
aufgebaut. Ein Bild zu lesen, ist eine andere Aufgabe, dazu mehr in
[Wie ein Modell ein Bild sieht](/de/blog/how-models-see-images/).
## Embedding-Modelle: Bedeutung in Zahlen verwandeln
Manche der nützlichsten KI erzeugt überhaupt nichts. Ein **Embedding-Modell** liest ein
Stück Text (oder ein Bild) und gibt eine Liste von Zahlen aus, die seine Bedeutung
erfasst, sodass Ähnliches nah beieinander landet.
Das ist der Baustein hinter semantischer Suche, Empfehlungen,
Deduplizierung und dem Ansatz „gib dem Agent ein Suchwerkzeug“ aus
[wie Agents ein Gedächtnis nutzen](/de/blog/how-an-agent-uses-tools-and-memory/). Es
schreibt nicht, es misst Ähnlichkeit, und genau das brauchen viele Produkte.
## Sprache: vom Klang zum Text und zurück
Zwei weitere spezialisierte Familien kümmern sich um Audio, und keine davon ist ein
LLM:
Sprache zu Text (ASR)
Macht aus gesprochenem Audio geschriebene Wörter
Steckt hinter Untertiteln, Diktat, Sprachnotizen
Werkzeuge wie Whisper
Text zu Sprache (TTS)
Macht aus geschriebenem Text gesprochenes Audio
Steckt hinter Sprachassistenten, Hörbüchern
Stimmen klingen zunehmend natürlich
Ein sprechender Sprachassistent besteht meist aus drei Modellen hintereinander: Sprache
zu Text, dann ein LLM, das entscheidet, was gesagt wird, dann Text zu Sprache. Das LLM
ist nur das mittlere Glied. [Wie ein Modell hört und spricht](/de/blog/how-models-hear-and-speak/)
öffnet die beiden anderen.
## Bilderkennung und klassische Modelle: klassifizieren und vorhersagen
Lange vor der generativen Welle ging es bei KI vor allem ums **Klassifizieren**, und
bei einem riesigen Teil ist das noch immer so.
- **Vision-Modelle** schauen sich ein Bild an und beantworten eine feste Frage: Ist ein
Tumor in diesem Scan, ein Defekt an diesem Teil, ein Fußgänger in diesem Frame? Sie
erkennen und beschriften, sie malen nicht.
- **Klassisches Machine Learning** (Entscheidungsbäume, Gradient Boosting, Regression)
arbeitet auf den tabellenförmigen Daten, mit denen die meisten Unternehmen laufen:
Springt dieser Kunde ab, ist diese Transaktion Betrug, wie hoch wird die Nachfrage
nächste Woche? Bei Tabellendaten schlagen diese Verfahren oft alles Ausgefallenere,
und sie sind billig und erklärbar.
- **Empfehlungssysteme** entscheiden, was dir ein Shop oder Streamingdienst als
Nächstes zeigt, gelernt aus dem, was Leute wie du angeklickt haben.
Keines davon produziert Sätze, und für ihre Aufgaben wäre ein LLM langsamer, teurer und
meist schlechter.
## Wann ein LLM das richtige Werkzeug ist
Entscheidend ist die Form deines Problems.
In der Praxis kombinieren die stärksten Systeme sie. Ein [Agent](/de/blog/what-is-an-ai-agent/)
nutzt vielleicht ein LLM zum Planen, ruft ein Embedding-Modell zum Suchen auf und gibt
an ein Diffusionsmodell ab, um ein Bild zu machen, jede Familie erledigt den Teil, den
sie am besten kann. Das LLM ist ein Werkzeug unter mehreren, und wer die anderen
kennt, wählt für jede Aufgabe das passende.