KI, die kein LLM ist
Sprachmodelle sind eine Familie der KI unter mehreren. Ein Rundgang durch die anderen großen Familien, wofür jede da ist und wann ein LLM das falsche Werkzeug ist.
Fast alles auf dieser Seite dreht sich um große Sprachmodelle, weil ich dafür baue. Aber ein LLM ist eine Familie der KI, nicht das ganze Feld, und zu einem zu greifen, wenn dein Problem nicht „Text erzeugen“ heißt, ist ein häufiger und teurer Fehler. Hier ein Rundgang durch die anderen großen Familien und das, was jede wirklich gut kann.
Zuerst eine Sache, um die es in diesem Beitrag nicht geht. Mein Beitrag über Modelle, die keine Transformer sind, behandelt LLMs mit einem anderen inneren Aufbau. Das sind trotzdem LLMs, die den Job eines LLM machen. Hier geht es um Systeme, die einen völlig anderen Job erledigen.
Diffusionsmodelle: Bilder und Videos erzeugen#
Wenn du aus einem Prompt ein Bild erzeugst, macht das kein LLM. Das ist ein Diffusionsmodell, und es funktioniert völlig anders: Es startet mit reinem visuellem Rauschen und räumt es dann immer wieder auf, Schritt für Schritt, bis aus dem Rauschen ein Bild auftaucht, das zu deinem Prompt passt.
Das ist die umgekehrte Form zur Ein-Wort-nach-dem-anderen-Schleife eines LLM: Das ganze Bild wird auf einmal verfeinert, immer wieder, statt von links nach rechts aufgebaut. Ein Bild zu lesen, ist eine andere Aufgabe, dazu mehr in Wie ein Modell ein Bild sieht.
Embedding-Modelle: Bedeutung in Zahlen verwandeln#
Manche der nützlichsten KI erzeugt überhaupt nichts. Ein Embedding-Modell liest ein Stück Text (oder ein Bild) und gibt eine Liste von Zahlen aus, die seine Bedeutung erfasst, sodass Ähnliches nah beieinander landet.
Das ist der Baustein hinter semantischer Suche, Empfehlungen, Deduplizierung und dem Ansatz „gib dem Agent ein Suchwerkzeug“ aus wie Agents ein Gedächtnis nutzen. Es schreibt nicht, es misst Ähnlichkeit, und genau das brauchen viele Produkte.
Sprache: vom Klang zum Text und zurück#
Zwei weitere spezialisierte Familien kümmern sich um Audio, und keine davon ist ein LLM:
Sprache zu Text (ASR)
- Macht aus gesprochenem Audio geschriebene Wörter
- Steckt hinter Untertiteln, Diktat, Sprachnotizen
- Werkzeuge wie Whisper
Text zu Sprache (TTS)
- Macht aus geschriebenem Text gesprochenes Audio
- Steckt hinter Sprachassistenten, Hörbüchern
- Stimmen klingen zunehmend natürlich
Ein sprechender Sprachassistent besteht meist aus drei Modellen hintereinander: Sprache zu Text, dann ein LLM, das entscheidet, was gesagt wird, dann Text zu Sprache. Das LLM ist nur das mittlere Glied. Wie ein Modell hört und spricht öffnet die beiden anderen.
Bilderkennung und klassische Modelle: klassifizieren und vorhersagen#
Lange vor der generativen Welle ging es bei KI vor allem ums Klassifizieren, und bei einem riesigen Teil ist das noch immer so.
- Vision-Modelle schauen sich ein Bild an und beantworten eine feste Frage: Ist ein Tumor in diesem Scan, ein Defekt an diesem Teil, ein Fußgänger in diesem Frame? Sie erkennen und beschriften, sie malen nicht.
- Klassisches Machine Learning (Entscheidungsbäume, Gradient Boosting, Regression) arbeitet auf den tabellenförmigen Daten, mit denen die meisten Unternehmen laufen: Springt dieser Kunde ab, ist diese Transaktion Betrug, wie hoch wird die Nachfrage nächste Woche? Bei Tabellendaten schlagen diese Verfahren oft alles Ausgefallenere, und sie sind billig und erklärbar.
- Empfehlungssysteme entscheiden, was dir ein Shop oder Streamingdienst als Nächstes zeigt, gelernt aus dem, was Leute wie du angeklickt haben.
Keines davon produziert Sätze, und für ihre Aufgaben wäre ein LLM langsamer, teurer und meist schlechter.
Wann ein LLM das richtige Werkzeug ist#
Entscheidend ist die Form deines Problems.
In der Praxis kombinieren die stärksten Systeme sie. Ein Agent nutzt vielleicht ein LLM zum Planen, ruft ein Embedding-Modell zum Suchen auf und gibt an ein Diffusionsmodell ab, um ein Bild zu machen, jede Familie erledigt den Teil, den sie am besten kann. Das LLM ist ein Werkzeug unter mehreren, und wer die anderen kennt, wählt für jede Aufgabe das passende.