# Warum ein LLM die r in „strawberry“ falsch zählt
> Bitte ein Spitzenmodell, die Buchstaben in einem Wort zu zählen, und es liegt oft daneben. Die Ursache ist kein Bug: Das Modell sieht überhaupt keine Buchstaben. Ein Rundgang durch Tokens.
Source: https://rfriedmann.de/de/blog/why-models-cant-spell/ · English: https://rfriedmann.de/blog/why-models-cant-spell/
Published: 2026-06-18 · Track: learn · Level: Beginner
Ein bekannter Test: Frag eine leistungsstarke KI „wie viele r stecken in
*strawberry*?“, und sie antwortet oft selbstbewusst „zwei“. Es sind drei. Dasselbe
Modell kann dir ein funktionierendes Programm schreiben oder Quantenmechanik erklären,
scheitert aber an einer Frage, die jedes sechsjährige Kind richtig beantwortet. Der
Grund für diesen Widerspruch erklärt viel darüber, was diese Systeme sind und was
nicht.
Die Kurzfassung: Das Modell sieht die Buchstaben nie. Wenn das Wort bei ihm ankommt,
ist „strawberry“ keine Folge von zehn Zeichen mehr. Es ist eine Handvoll **Tokens**,
und im Modell ist jeder Token nur eine Zahl.
In [was ein LLM ist](/de/blog/what-is-an-llm/) habe ich das vereinfacht zu:
„Denk einfach an Wörter.“ Für das große Ganze ist das die richtige Vereinfachung. Hier
zählt das Detail, denn von hier stammt eine ganze Klasse seltsamen Verhaltens.
## Wörter gehen als Stücke hinein, nicht als Buchstaben
Ein Modell hat nicht für jedes mögliche Wort einen eigenen Platz, dafür gibt es viel zu
viele, dazu Tippfehler, Namen, Code und andere Sprachen. Stattdessen hat es ein festes
Vokabular von vielleicht 100.000 bis 200.000 häufigen Stücken und baut jeden Text daraus
zusammen. Häufige Wörter bekommen einen eigenen Token. Seltene werden aus kleineren
Stücken zusammengesetzt.
Ein Tokenizer könnte das Wort also so zerschneiden:
„strawberry“, wie das Modell es tatsächlich bekommt
[diagram omitted — see the page for the chart]
Drei Tokens, dann drei ID-Nummern. Die genaue Aufteilung hängt vom Tokenizer ab, und diese IDs sind illustrativ, aber die Form stimmt: Das Modell arbeitet mit Stück-IDs, nicht mit Zeichen. „berry“ ist für es eine unteilbare Einheit; es kann nicht hineinschauen, um Buchstaben zu zählen, so wenig wie du die einzelnen Schallwellen in einem Wort hörst.
Sobald es Tokens sind, sind es Zahlen. Jeder Token hat eine feste ID, und *die*
verarbeitet das neuronale Netz tatsächlich. Das Modell hat aus großen Mengen Text gelernt,
wie diese nummerierten Stücke zueinander stehen, dass das Stück für „berry“ oft auf
„straw“ folgt, dass „Paris“ mit „Frankreich“ zusammenhängt. Was es nie gelernt hat,
weil es das nie sieht: dass das „berry“-Stück die Buchstaben b-e-r-r-y enthält. Es nach
der Zahl der r zu fragen ist so, als würde man dich fragen, wie viele Federstriche in
einem Wort stecken, das jemand gerade laut gesagt hat. Die Information steckt nicht in
der Form, in der du sie bekommen hast.
## Warum Wörter in Stücke zerlegt werden
Die Alternativen wären, dem Modell Buchstaben oder ganze Wörter zu geben. Beide Extreme
sind schlechter, und der Mittelweg ist ein praktikabler Kompromiss.
Ein Token pro Buchstabe
Winziges Vokabular, kann alles buchstabieren
Sequenzen werden sehr lang und langsam
Modell muss die Schreibweise jedes Worts von null lernen
Ein Token pro Wort
Kurze, effiziente Sequenzen
Das Vokabular ginge in die Millionen und verpasste trotzdem neue Wörter, Tippfehler, Code
Keine Chance bei einem Wort, das es nie gesehen hat
Subword-Tokens nehmen das Beste von beidem. Häufige Wörter bleiben eine einzige
effiziente Einheit; alles Ungewöhnliche lässt sich trotzdem ausdrücken, indem auf
kleinere Stücke zurückgegriffen wird, wenn nötig bis hinunter zu einzelnen Zeichen.
Nichts ist unbuchstabierbar, und der typische Satz bleibt kurz. Das Standardrezept, um
dieses Vokabular aufzubauen, heißt **Byte-Pair Encoding**: bei einzelnen Zeichen
anfangen und immer wieder das häufigste benachbarte Paar zu einem neuen Token
verschmelzen, bis das Budget an Stücken erreicht ist. Häufige Muster steigen zu eigenen
Tokens auf; seltene bleiben zersplittert.
## Die Folgen im Alltag
Das ist über das Strawberry-Beispiel hinaus relevant. Die Tokenisierung erklärt mehrere
Dinge, denen du begegnen wirst.
- **Buchstabenspiele sind schwer.** Buchstaben zählen, Wörter umdrehen, Reime finden,
Pig Latin, Akrostichen, alles, was *unterhalb* des Tokens arbeitet, ist für ein Modell
schwierig, weil es eine Schreibweise rekonstruieren muss, die ihm nie direkt
gezeigt wurde. Neuere Modelle sind darin besser, teils durch Training, das sie mit der
Schreibweise in Berührung bringt, aber es bleibt eine Schwachstelle und keine Stärke.
- **Arithmetik wird unzuverlässiger.** Eine Zahl wie 1024 ist vielleicht ein Token, oder sie wird
in „10“ und „24“ zerlegt, und die Aufteilung ist über verschiedene Zahlen hinweg nicht
einheitlich. Ziffer für Ziffer gerechnete Arithmetik ist unzuverlässig, wenn das Modell die
Ziffern nicht zuverlässig sieht.
- **Andere Sprachen kosten mehr.** Tokenizer werden meist überwiegend auf Englisch
trainiert, also packt sich Englisch dicht, oft ein Token pro Wort. Eine Sprache, die
der Tokenizer seltener gesehen hat, zerfällt in viele kleine Stücke, also kostet
derselbe Satz mehr Tokens, was bedeutet: langsamer und bei bezahlten APIs teurer. (Das
betrifft auch Deutsch.)
- **„Pro Token“-Preise und -Limits beziehen sich auf *diese* Einheit.** Wenn ein Dienst
pro Token abrechnet oder deinen [Kontext](/de/blog/kv-cache-and-long-context/) auf eine
bestimmte Zahl Tokens begrenzt, ist das die Einheit. Eine grobe Faustregel für
Englisch: Ein Token hat im Schnitt etwa vier Zeichen, also sind 100 Tokens ungefähr 75
Wörter. Praktisch zum Abschätzen.
[diagram omitted — see the page for the chart]
Dieselbe Idee, auf drei Arten tokenisiert. Schlicht geschriebenes Englisch ist am billigsten; streu seltene Wörter, Code oder eine Sprache ein, die der Tokenizer kaum gesehen hat, und die Token-Zahl steigt bei identischer Bedeutung. Zahlen illustrativ; die Richtung stimmt.
## Eine Lücke in der Wahrnehmung, nicht im Denken
Der Strawberry-Fehler ist keine Lücke im Denken, sondern eine Lücke in der
*Wahrnehmung*. Das Modell denkt korrekt über
eine Eingabe nach, die die Buchstaben schlicht nicht enthält. Gib ihm dieselbe Aufgabe
in einer Form, die es sehen kann, „buchstabiere strawberry Buchstabe für Buchstabe,
dann zähl die r“, und ein fähiges Modell liegt oft richtig, weil die Buchstaben jetzt
als einzelne Tokens dastehen, mit denen es arbeiten kann.
Die Lektion reicht über Rechtschreibung hinaus:
**Wie du einem Modell ein Problem übergibst, verändert, was es damit anfangen kann.**
Tokens sind das erste und wörtlichste Beispiel für ein Thema, das sich durch alles hier
zieht. Das Modell ist leistungsfähig und hat zugleich bestimmte blinde Flecken, und sie
zu kennen ist der größte Teil davon, es benutzen zu können.
Als Nächstes zwei weitere Stellen, an denen sich diese blinden Flecken zeigen: warum dieselbe
Frage dir [jedes Mal eine andere Antwort](/de/blog/why-different-answers/) geben kann, und
warum ein selbstbewusstes Modell manchmal [Dinge erfindet](/de/blog/why-models-make-things-up/).