# Wie ein Modell hört und spricht
> Diktat, Besprechungsprotokolle, Sprachassistenten und geklonte Stimmen beruhen alle auf einer Idee: Klang wird zum Bild, dann zu Tokens. Wie Spracherkennung und Sprachsynthese funktionieren, wo sie versagen und worauf du bei der Arbeit achten solltest.
Source: https://rfriedmann.de/de/blog/how-models-hear-and-speak/ · English: https://rfriedmann.de/blog/how-models-hear-and-speak/
Published: 2026-11-08 · Track: learn · Level: Beginner
Ein Sprachassistent besteht, wie es in der Lektion über [KI, die kein LLM
ist](/de/blog/ai-that-isnt-an-llm/) hieß, meist aus drei Modellen hintereinander: Eines
macht aus deiner Sprache Text, ein LLM entscheidet, was gesagt wird, und ein drittes
macht aus der Antwort wieder Sprache. Diese Lektion öffnet die erste und die letzte
dieser Kisten. Beide nutzen Ideen, die du schon kennst: den
[Ansatz aus dem Sehen](/de/blog/how-models-see-images/), ein Bild in Vektoren zu
verwandeln, und das [Raten des nächsten Tokens](/de/blog/what-is-an-llm/) eines
Sprachmodells. Das erklärt auch ihre typischen Fehler.
## Klang ist eine sehr lange Liste von Zahlen
Ein Mikrofon misst den Luftdruck, viele Male pro Sekunde. Jede Messung ist eine Zahl,
ein sogenanntes Sample. Eine Musik-CD speichert 44.100 davon pro Sekunde,
Sprachmodelle kommen meist mit 16.000 aus, und genau damit arbeitet Whisper, der
bekannteste offene Spracherkenner. Dreißig Sekunden Sprache sind also
30 x 16.000 = 480.000 Zahlen.
Das ist viel zu viel und viel zu roh. Eine einzelne Zahl sagt nichts darüber, ob du
gerade ein „a“ oder ein „s“ gehört hast. Für Sprache zählt, welche **Tonhöhen** da
sind, wie stark, und wie sich das über die Zeit ändert. Bevor ein Modell das Audio
sieht, wird es deshalb in ein Bild verwandelt.
Whisper schneidet das Audio in Fenster von 25 Millisekunden, alle 10 Millisekunden
eines, und misst in jedem 80 Tonhöhenbänder (seit large-v3 sind es 128). Das ergibt
100 Spalten pro Sekunde, sein üblicher 30-Sekunden-Abschnitt wird also zu einem Bild
mit 3.000 Spalten und 80 Zeilen. Ab hier ist Hören ein Problem des Sehens.
Von der Schallwelle zum Text: Hören heißt ein Bild lesen
[diagram omitted — see the page for the chart]
Die letzte Spalte des Spektrogramms ist Stille: nichts leuchtet. Der Encoder macht aus dem Bild Vektoren, der Decoder schreibt das Transkript Token für Token und schaut dabei auf diese Vektoren zurück. Dieselbe Encoder-Decoder-Form wie bei maschineller Übersetzung, nur mit Klang als Ausgangssprache.
## Hören: ein Encoder, der zuhört, ein Decoder, der schreibt
Whisper, 2022 von OpenAI veröffentlicht (Radford et al., „Robust Speech Recognition
via Large-Scale Weak Supervision“), ist das Modell, das die meisten zuerst kennenlernen,
weil seine Gewichte unter der MIT-Lizenz offen sind. Es hat zwei Hälften. Der
**Encoder** liest das Spektrogramm und macht daraus Vektoren, ganz ähnlich wie der
Bild-Encoder aus Bildausschnitten Vektoren macht. Der **Decoder** schreibt dann das
Transkript Token für Token, genau wie ein Sprachmodell, nur dass er bei jedem Schritt
auch darauf schaut, was der Encoder gehört hat.
Gut gemacht hat Whisper keine neuartige Architektur, sondern Daten: 680.000 Stunden Audio
mit Transkripten, gesammelt aus dem Netz. „Schwach überwacht“ heißt, dass diese
Transkripte unvollkommen waren, Untertitel und Beschriftungen gemischter Qualität. Es
waren aber so viele, dass das Modell trotzdem Akzente, Hintergrundgeräusche und
Dutzende Sprachen gelernt hat.
## Warum es Dinge schreibt, die niemand gesagt hat
Der Decoder ist ein kleines Sprachmodell, und Sprachmodelle füllen Lücken mit
[etwas Plausiblem](/de/blog/why-models-make-things-up/). Gib ihm eine lange Pause,
Musik oder ein Husten, und es schreibt womöglich einen Satz, der nie gesprochen wurde.
Eine Studie von 2024 („Careless Whisper“, Koenecke et al., FAccT 2024) fand in etwa 1 %
der Transkripte erfundene Sätze, und 38 % dieser Erfindungen enthielten etwas
Schädliches, etwa Gewalt oder ausgedachte persönliche Angaben. Getestet wurde die
Version von 2023, neuere Modelle schneiden besser ab, aber der Mechanismus ist noch
da. Sprecher mit langen Pausen traf es stärker.
Daraus folgen zwei praktische Dinge. Die meisten Transkriptions-Werkzeuge haben eine
Option, Stille zu erkennen und herauszuschneiden, bevor das Modell sie sieht
(Voice Activity Detection): Schalte sie ein. Und ein Transkript ist ein Entwurf, kein
Protokoll, besonders wenn es in eine Niederschrift, ein Ticket oder eine medizinische
Notiz geht.
Das übliche Qualitätsmaß ist die **Wortfehlerrate** (Word Error Rate): Zähl die Wörter,
die das Modell falsch erkannt, ausgelassen oder hinzugefügt hat, und teil durch die
Zahl der tatsächlich gesprochenen Wörter. Eine Wortfehlerrate von 5 % klingt gut und
heißt trotzdem, dass jedes zwanzigste Wort falsch ist.
## Sprechen: derselbe Weg rückwärts
Text-to-Speech läuft die Kette rückwärts. Der ältere Weg: Ein Modell macht aus Text ein
Spektrogramm, und ein zweites Modell, der **Vocoder**, macht aus diesem Bild wieder
eine Schallwelle. Der neuere Weg leiht sich direkt etwas von Sprachmodellen. Ein
**neuronaler Audio-Codec** (bekannt ist etwa EnCodec von Meta aus 2022) presst Audio
in eine kurze Folge diskreter Tokens, ein Vokabular aus Klangschnipseln. Ein Modell
sagt diese Audio-Tokens dann eines nach dem anderen voraus, genau wie ein LLM Wörter
vorhersagt, und der Codec macht daraus wieder Audio.
Dieser zweite Weg hat das Klonen von Stimmen billig gemacht. Microsofts VALL-E (Januar
2023) wurde so trainiert und konnte einen Sprecher, den es nie gehört hatte, aus einer
**drei Sekunden** langen Aufnahme nachahmen: Es nimmt die Aufnahme als Anfang der
Token-Folge und setzt sie einfach in derselben Stimme fort.
## Geklonte Stimmen, echtes Geld
Drei Sekunden Audio sind eine Mailbox-Ansage, ein Konferenzvortrag, ein Podcast. Im
Januar 2024 überwies ein Mitarbeiter des Ingenieurbüros Arup in Hongkong in 15
Überweisungen 200 Millionen Hongkong-Dollar, etwa 25 Millionen US-Dollar, nach einem
Videocall, in dem der „Finanzchef“ und die übrigen Kollegen erzeugt waren, Gesichter
und Stimmen.
Die Abwehr ist keine Technik, sondern ein Ablauf: Zahlungs- und Passwortanfragen per
Telefon oder Video bekommen einen Rückruf auf eine Nummer, die du schon hast, und
manche Teams vereinbaren ein Codewort. Der AI Act verlangt außerdem, dass erzeugtes
oder manipuliertes Audio, das echt wirkt, als solches offengelegt wird (Art. 50), die
[Lektion zu DSGVO und AI Act](/de/blog/ai-and-the-law-gdpr-ai-act/) hat die Fristen.
Betrüger halten sich nicht daran, also bleibt die Rückruf-Regel.
## Ohne Text dazwischen
Die Kette aus drei Kisten hat einen Preis: Jeder Schritt kostet Zeit, und das LLM in
der Mitte sieht nur Text, also gehen Tonfall, Zögern und Lachen verloren. Neuere
Modelle sind **sprach-nativ**: Audio rein, Audio raus, ein Netz. OpenAIs GPT-4o (Mai
2024) antwortete auf gesprochene Eingaben im Schnitt in 320 Millisekunden, gegenüber
2,8 bis 5,4 Sekunden beim früheren Sprachmodus aus drei Modellen. Kyutais offenes
Modell Moshi (September 2024) hört und spricht gleichzeitig und kommt auf eine
theoretische Verzögerung von 160 Millisekunden. Die durchschnittliche Lücke zwischen
zwei Sprechern im menschlichen Gespräch liegt bei etwa 230.
Drei Modelle hintereinander
Jeder Schritt ist prüfbar: Du kannst den Text lesen
Ein Teil lässt sich tauschen, der Rest bleibt
Läuft lokal auf bescheidener Hardware
Langsamer, und der Tonfall geht in der Mitte verloren
Ein sprach-natives Modell
Antwortet etwa so schnell wie ein Mensch
Hört den Tonfall, lässt sich unterbrechen
Schwerer zu protokollieren, was „gesagt“ wurde
Heute meist Cloud-Dienste
## Auf dem eigenen Rechner
Spracherkennung gehört zu dem, was sich am leichtesten [lokal
betreiben](/de/blog/your-first-local-model/) lässt. Das aktuelle Whisper
large-v3-turbo (Oktober 2024) hat 809 Millionen Parameter, wenig im Vergleich zu einem
Chat-Modell: OpenAI hat den Decoder von 32 auf 4 Schichten gekürzt und den Encoder
behalten. Zwei verbreitete Laufzeitumgebungen: **whisper.cpp**, eine Portierung in
C/C++, die auf Laptop-CPUs und Apple-Rechnern läuft, und **faster-whisper**, das
seine Autoren auf derselben GPU als bis zu viermal schneller als OpenAIs eigenen Code
angeben. Bei einer Besprechungsaufnahme heißt lokale Transkription auch: Das Audio
verlässt nie das Haus.
## Im Büro: bevor du auf Aufnahme drückst
Die Aufnahme einer Besprechung ist personenbezogen, das Transkript auch: Stimmen sind
identifizierbar, und was Leute in Besprechungen sagen, meist ebenfalls. In Deutschland
gilt zusätzlich zur DSGVO eine zweite, ältere Regel: § 201 StGB stellt es unter Strafe,
das nichtöffentlich gesprochene Wort anderer unbefugt aufzunehmen. Ob ein
Live-Transkript, das das Audio nie speichert, als Aufnahme zählt, ist unter Juristen
umstritten. Die sichere Praxis ist die einfache: ankündigen, die Einwilligung aller
einholen, sagen, wohin das Transkript geht und wann es gelöscht wird. In einer Firma mit
Betriebsrat braucht ein Transkriptions-Tool vorher seine Zustimmung (§ 87 Abs. 1 Nr. 6
BetrVG).
## Das Fazit
Hören heißt, ein Bild von Klang mit einem Encoder nach Art des Sehens zu lesen.
Sprechen heißt, ein Sprachmodell Klang-Tokens statt Wörter vorhersagen zu lassen.
Beide erben die Gewohnheiten ihrer Teile: Der Transkribierer kann in der Stille Sätze
erfinden, und der Sprecher kann nach drei Sekunden Zuhören wie jeder klingen. Nutze
Transkripte als Entwurf, schneide die Stille heraus, frag vor dem Aufnehmen, und prüfe
jede Stimme, die nach Geld fragt.