Raphael Friedmann
← KI verstehen

Wie ein Modell hört und spricht

Diktat, Besprechungsprotokolle, Sprachassistenten und geklonte Stimmen beruhen alle auf einer Idee: Klang wird zum Bild, dann zu Tokens. Wie Spracherkennung und Sprachsynthese funktionieren, wo sie versagen und worauf du bei der Arbeit achten solltest.

Ein Sprachassistent besteht, wie es in der Lektion über KI, die kein LLM ist hieß, meist aus drei Modellen hintereinander: Eines macht aus deiner Sprache Text, ein LLM entscheidet, was gesagt wird, und ein drittes macht aus der Antwort wieder Sprache. Diese Lektion öffnet die erste und die letzte dieser Kisten. Beide nutzen Ideen, die du schon kennst: den Ansatz aus dem Sehen, ein Bild in Vektoren zu verwandeln, und das Raten des nächsten Tokens eines Sprachmodells. Das erklärt auch ihre typischen Fehler.

Klang ist eine sehr lange Liste von Zahlen#

Ein Mikrofon misst den Luftdruck, viele Male pro Sekunde. Jede Messung ist eine Zahl, ein sogenanntes Sample. Eine Musik-CD speichert 44.100 davon pro Sekunde, Sprachmodelle kommen meist mit 16.000 aus, und genau damit arbeitet Whisper, der bekannteste offene Spracherkenner. Dreißig Sekunden Sprache sind also 30 x 16.000 = 480.000 Zahlen.

Das ist viel zu viel und viel zu roh. Eine einzelne Zahl sagt nichts darüber, ob du gerade ein „a“ oder ein „s“ gehört hast. Für Sprache zählt, welche Tonhöhen da sind, wie stark, und wie sich das über die Zeit ändert. Bevor ein Modell das Audio sieht, wird es deshalb in ein Bild verwandelt.

Whisper schneidet das Audio in Fenster von 25 Millisekunden, alle 10 Millisekunden eines, und misst in jedem 80 Tonhöhenbänder (seit large-v3 sind es 128). Das ergibt 100 Spalten pro Sekunde, sein üblicher 30-Sekunden-Abschnitt wird also zu einem Bild mit 3.000 Spalten und 80 Zeilen. Ab hier ist Hören ein Problem des Sehens.

Von der Schallwelle zum Text: Hören heißt ein Bild lesen
Schallwelle16.000 Werte/sSpektrogramm100 Spalten/sEncoderhört zuwie ein Bild-EncoderDecoderschreibt Wörterein kleines SprachmodellTextDer Decoder rät das nächste Wort wie jedes LLM,deshalb kann er Text erfinden, wo nur Stille ist
Die letzte Spalte des Spektrogramms ist Stille: nichts leuchtet. Der Encoder macht aus dem Bild Vektoren, der Decoder schreibt das Transkript Token für Token und schaut dabei auf diese Vektoren zurück. Dieselbe Encoder-Decoder-Form wie bei maschineller Übersetzung, nur mit Klang als Ausgangssprache.

Hören: ein Encoder, der zuhört, ein Decoder, der schreibt#

Whisper, 2022 von OpenAI veröffentlicht (Radford et al., „Robust Speech Recognition via Large-Scale Weak Supervision“), ist das Modell, das die meisten zuerst kennenlernen, weil seine Gewichte unter der MIT-Lizenz offen sind. Es hat zwei Hälften. Der Encoder liest das Spektrogramm und macht daraus Vektoren, ganz ähnlich wie der Bild-Encoder aus Bildausschnitten Vektoren macht. Der Decoder schreibt dann das Transkript Token für Token, genau wie ein Sprachmodell, nur dass er bei jedem Schritt auch darauf schaut, was der Encoder gehört hat.

Gut gemacht hat Whisper keine neuartige Architektur, sondern Daten: 680.000 Stunden Audio mit Transkripten, gesammelt aus dem Netz. „Schwach überwacht“ heißt, dass diese Transkripte unvollkommen waren, Untertitel und Beschriftungen gemischter Qualität. Es waren aber so viele, dass das Modell trotzdem Akzente, Hintergrundgeräusche und Dutzende Sprachen gelernt hat.

Warum es Dinge schreibt, die niemand gesagt hat#

Der Decoder ist ein kleines Sprachmodell, und Sprachmodelle füllen Lücken mit etwas Plausiblem. Gib ihm eine lange Pause, Musik oder ein Husten, und es schreibt womöglich einen Satz, der nie gesprochen wurde. Eine Studie von 2024 („Careless Whisper“, Koenecke et al., FAccT 2024) fand in etwa 1 % der Transkripte erfundene Sätze, und 38 % dieser Erfindungen enthielten etwas Schädliches, etwa Gewalt oder ausgedachte persönliche Angaben. Getestet wurde die Version von 2023, neuere Modelle schneiden besser ab, aber der Mechanismus ist noch da. Sprecher mit langen Pausen traf es stärker.

Daraus folgen zwei praktische Dinge. Die meisten Transkriptions-Werkzeuge haben eine Option, Stille zu erkennen und herauszuschneiden, bevor das Modell sie sieht (Voice Activity Detection): Schalte sie ein. Und ein Transkript ist ein Entwurf, kein Protokoll, besonders wenn es in eine Niederschrift, ein Ticket oder eine medizinische Notiz geht.

Das übliche Qualitätsmaß ist die Wortfehlerrate (Word Error Rate): Zähl die Wörter, die das Modell falsch erkannt, ausgelassen oder hinzugefügt hat, und teil durch die Zahl der tatsächlich gesprochenen Wörter. Eine Wortfehlerrate von 5 % klingt gut und heißt trotzdem, dass jedes zwanzigste Wort falsch ist.

Sprechen: derselbe Weg rückwärts#

Text-to-Speech läuft die Kette rückwärts. Der ältere Weg: Ein Modell macht aus Text ein Spektrogramm, und ein zweites Modell, der Vocoder, macht aus diesem Bild wieder eine Schallwelle. Der neuere Weg leiht sich direkt etwas von Sprachmodellen. Ein neuronaler Audio-Codec (bekannt ist etwa EnCodec von Meta aus 2022) presst Audio in eine kurze Folge diskreter Tokens, ein Vokabular aus Klangschnipseln. Ein Modell sagt diese Audio-Tokens dann eines nach dem anderen voraus, genau wie ein LLM Wörter vorhersagt, und der Codec macht daraus wieder Audio.

Dieser zweite Weg hat das Klonen von Stimmen billig gemacht. Microsofts VALL-E (Januar 2023) wurde so trainiert und konnte einen Sprecher, den es nie gehört hatte, aus einer drei Sekunden langen Aufnahme nachahmen: Es nimmt die Aufnahme als Anfang der Token-Folge und setzt sie einfach in derselben Stimme fort.

Geklonte Stimmen, echtes Geld#

Drei Sekunden Audio sind eine Mailbox-Ansage, ein Konferenzvortrag, ein Podcast. Im Januar 2024 überwies ein Mitarbeiter des Ingenieurbüros Arup in Hongkong in 15 Überweisungen 200 Millionen Hongkong-Dollar, etwa 25 Millionen US-Dollar, nach einem Videocall, in dem der „Finanzchef“ und die übrigen Kollegen erzeugt waren, Gesichter und Stimmen.

Die Abwehr ist keine Technik, sondern ein Ablauf: Zahlungs- und Passwortanfragen per Telefon oder Video bekommen einen Rückruf auf eine Nummer, die du schon hast, und manche Teams vereinbaren ein Codewort. Der AI Act verlangt außerdem, dass erzeugtes oder manipuliertes Audio, das echt wirkt, als solches offengelegt wird (Art. 50), die Lektion zu DSGVO und AI Act hat die Fristen. Betrüger halten sich nicht daran, also bleibt die Rückruf-Regel.

Ohne Text dazwischen#

Die Kette aus drei Kisten hat einen Preis: Jeder Schritt kostet Zeit, und das LLM in der Mitte sieht nur Text, also gehen Tonfall, Zögern und Lachen verloren. Neuere Modelle sind sprach-nativ: Audio rein, Audio raus, ein Netz. OpenAIs GPT-4o (Mai 2024) antwortete auf gesprochene Eingaben im Schnitt in 320 Millisekunden, gegenüber 2,8 bis 5,4 Sekunden beim früheren Sprachmodus aus drei Modellen. Kyutais offenes Modell Moshi (September 2024) hört und spricht gleichzeitig und kommt auf eine theoretische Verzögerung von 160 Millisekunden. Die durchschnittliche Lücke zwischen zwei Sprechern im menschlichen Gespräch liegt bei etwa 230.

Drei Modelle hintereinander

  • Jeder Schritt ist prüfbar: Du kannst den Text lesen
  • Ein Teil lässt sich tauschen, der Rest bleibt
  • Läuft lokal auf bescheidener Hardware
  • Langsamer, und der Tonfall geht in der Mitte verloren

Ein sprach-natives Modell

  • Antwortet etwa so schnell wie ein Mensch
  • Hört den Tonfall, lässt sich unterbrechen
  • Schwerer zu protokollieren, was „gesagt“ wurde
  • Heute meist Cloud-Dienste

Auf dem eigenen Rechner#

Spracherkennung gehört zu dem, was sich am leichtesten lokal betreiben lässt. Das aktuelle Whisper large-v3-turbo (Oktober 2024) hat 809 Millionen Parameter, wenig im Vergleich zu einem Chat-Modell: OpenAI hat den Decoder von 32 auf 4 Schichten gekürzt und den Encoder behalten. Zwei verbreitete Laufzeitumgebungen: whisper.cpp, eine Portierung in C/C++, die auf Laptop-CPUs und Apple-Rechnern läuft, und faster-whisper, das seine Autoren auf derselben GPU als bis zu viermal schneller als OpenAIs eigenen Code angeben. Bei einer Besprechungsaufnahme heißt lokale Transkription auch: Das Audio verlässt nie das Haus.

Im Büro: bevor du auf Aufnahme drückst#

Die Aufnahme einer Besprechung ist personenbezogen, das Transkript auch: Stimmen sind identifizierbar, und was Leute in Besprechungen sagen, meist ebenfalls. In Deutschland gilt zusätzlich zur DSGVO eine zweite, ältere Regel: § 201 StGB stellt es unter Strafe, das nichtöffentlich gesprochene Wort anderer unbefugt aufzunehmen. Ob ein Live-Transkript, das das Audio nie speichert, als Aufnahme zählt, ist unter Juristen umstritten. Die sichere Praxis ist die einfache: ankündigen, die Einwilligung aller einholen, sagen, wohin das Transkript geht und wann es gelöscht wird. In einer Firma mit Betriebsrat braucht ein Transkriptions-Tool vorher seine Zustimmung (§ 87 Abs. 1 Nr. 6 BetrVG).

Das Fazit#

Hören heißt, ein Bild von Klang mit einem Encoder nach Art des Sehens zu lesen. Sprechen heißt, ein Sprachmodell Klang-Tokens statt Wörter vorhersagen zu lassen. Beide erben die Gewohnheiten ihrer Teile: Der Transkribierer kann in der Stille Sätze erfinden, und der Sprecher kann nach drei Sekunden Zuhören wie jeder klingen. Nutze Transkripte als Entwurf, schneide die Stille heraus, frag vor dem Aufnehmen, und prüfe jede Stimme, die nach Geld fragt.