Warum ein LLM die r in „strawberry“ falsch zählt
Bitte ein Spitzenmodell, die Buchstaben in einem Wort zu zählen, und es liegt oft daneben. Die Ursache ist kein Bug: Das Modell sieht überhaupt keine Buchstaben. Ein Rundgang durch Tokens.
Ein bekannter Test: Frag eine leistungsstarke KI „wie viele r stecken in strawberry?“, und sie antwortet oft selbstbewusst „zwei“. Es sind drei. Dasselbe Modell kann dir ein funktionierendes Programm schreiben oder Quantenmechanik erklären, scheitert aber an einer Frage, die jedes sechsjährige Kind richtig beantwortet. Der Grund für diesen Widerspruch erklärt viel darüber, was diese Systeme sind und was nicht.
Die Kurzfassung: Das Modell sieht die Buchstaben nie. Wenn das Wort bei ihm ankommt, ist „strawberry“ keine Folge von zehn Zeichen mehr. Es ist eine Handvoll Tokens, und im Modell ist jeder Token nur eine Zahl.
In was ein LLM ist habe ich das vereinfacht zu: „Denk einfach an Wörter.“ Für das große Ganze ist das die richtige Vereinfachung. Hier zählt das Detail, denn von hier stammt eine ganze Klasse seltsamen Verhaltens.
Wörter gehen als Stücke hinein, nicht als Buchstaben
Ein Modell hat nicht für jedes mögliche Wort einen eigenen Platz, dafür gibt es viel zu viele, dazu Tippfehler, Namen, Code und andere Sprachen. Stattdessen hat es ein festes Vokabular von vielleicht 100.000 bis 200.000 häufigen Stücken und baut jeden Text daraus zusammen. Häufige Wörter bekommen einen eigenen Token. Seltene werden aus kleineren Stücken zusammengesetzt.
Ein Tokenizer könnte das Wort also so zerschneiden:
Sobald es Tokens sind, sind es Zahlen. Jeder Token hat eine feste ID, und die verarbeitet das neuronale Netz tatsächlich. Das Modell hat aus großen Mengen Text gelernt, wie diese nummerierten Stücke zueinander stehen, dass das Stück für „berry“ oft auf „straw“ folgt, dass „Paris“ mit „Frankreich“ zusammenhängt. Was es nie gelernt hat, weil es das nie sieht: dass das „berry“-Stück die Buchstaben b-e-r-r-y enthält. Es nach der Zahl der r zu fragen ist so, als würde man dich fragen, wie viele Federstriche in einem Wort stecken, das jemand gerade laut gesagt hat. Die Information steckt nicht in der Form, in der du sie bekommen hast.
Warum Wörter in Stücke zerlegt werden
Die Alternativen wären, dem Modell Buchstaben oder ganze Wörter zu geben. Beide Extreme sind schlechter, und der Mittelweg ist ein praktikabler Kompromiss.
Ein Token pro Buchstabe
- Winziges Vokabular, kann alles buchstabieren
- Sequenzen werden sehr lang und langsam
- Modell muss die Schreibweise jedes Worts von null lernen
Ein Token pro Wort
- Kurze, effiziente Sequenzen
- Das Vokabular ginge in die Millionen und verpasste trotzdem neue Wörter, Tippfehler, Code
- Keine Chance bei einem Wort, das es nie gesehen hat
Subword-Tokens nehmen das Beste von beidem. Häufige Wörter bleiben eine einzige effiziente Einheit; alles Ungewöhnliche lässt sich trotzdem ausdrücken, indem auf kleinere Stücke zurückgegriffen wird, wenn nötig bis hinunter zu einzelnen Zeichen. Nichts ist unbuchstabierbar, und der typische Satz bleibt kurz. Das Standardrezept, um dieses Vokabular aufzubauen, heißt Byte-Pair Encoding: bei einzelnen Zeichen anfangen und immer wieder das häufigste benachbarte Paar zu einem neuen Token verschmelzen, bis das Budget an Stücken erreicht ist. Häufige Muster steigen zu eigenen Tokens auf; seltene bleiben zersplittert.
Die Folgen im Alltag
Das ist über das Strawberry-Beispiel hinaus relevant. Die Tokenisierung erklärt mehrere Dinge, denen du begegnen wirst.
- Buchstabenspiele sind schwer. Buchstaben zählen, Wörter umdrehen, Reime finden, Pig Latin, Akrostichen, alles, was unterhalb des Tokens arbeitet, ist für ein Modell schwierig, weil es eine Schreibweise rekonstruieren muss, die ihm nie direkt gezeigt wurde. Neuere Modelle sind darin besser, teils durch Training, das sie mit der Schreibweise in Berührung bringt, aber es bleibt eine Schwachstelle und keine Stärke.
- Arithmetik wird unzuverlässiger. Eine Zahl wie 1024 ist vielleicht ein Token, oder sie wird in „10“ und „24“ zerlegt, und die Aufteilung ist über verschiedene Zahlen hinweg nicht einheitlich. Ziffer für Ziffer gerechnete Arithmetik ist unzuverlässig, wenn das Modell die Ziffern nicht zuverlässig sieht.
- Andere Sprachen kosten mehr. Tokenizer werden meist überwiegend auf Englisch trainiert, also packt sich Englisch dicht, oft ein Token pro Wort. Eine Sprache, die der Tokenizer seltener gesehen hat, zerfällt in viele kleine Stücke, also kostet derselbe Satz mehr Tokens, was bedeutet: langsamer und bei bezahlten APIs teurer. (Das betrifft auch Deutsch.)
- „Pro Token“-Preise und -Limits beziehen sich auf diese Einheit. Wenn ein Dienst pro Token abrechnet oder deinen Kontext auf eine bestimmte Zahl Tokens begrenzt, ist das die Einheit. Eine grobe Faustregel für Englisch: Ein Token hat im Schnitt etwa vier Zeichen, also sind 100 Tokens ungefähr 75 Wörter. Praktisch zum Abschätzen.
Eine Lücke in der Wahrnehmung, nicht im Denken
Der Strawberry-Fehler ist keine Lücke im Denken, sondern eine Lücke in der Wahrnehmung. Das Modell denkt korrekt über eine Eingabe nach, die die Buchstaben schlicht nicht enthält. Gib ihm dieselbe Aufgabe in einer Form, die es sehen kann, „buchstabiere strawberry Buchstabe für Buchstabe, dann zähl die r“, und ein fähiges Modell liegt oft richtig, weil die Buchstaben jetzt als einzelne Tokens dastehen, mit denen es arbeiten kann.
Die Lektion reicht über Rechtschreibung hinaus: Wie du einem Modell ein Problem übergibst, verändert, was es damit anfangen kann. Tokens sind das erste und wörtlichste Beispiel für ein Thema, das sich durch alles hier zieht. Das Modell ist leistungsfähig und hat zugleich bestimmte blinde Flecken, und sie zu kennen ist der größte Teil davon, es benutzen zu können.
Als Nächstes zwei weitere Stellen, an denen sich diese blinden Flecken zeigen: warum dieselbe Frage dir jedes Mal eine andere Antwort geben kann, und warum ein selbstbewusstes Modell manchmal Dinge erfindet.