# Continuous Batching: wie eine GPU viele auf einmal bedient
> Ein einzelner Decode-Stream verschwendet den Großteil der GPU. Bediene viele Requests auf einmal, teile jeden Durchlauf über die Gewichte und hör auf, auf das Ende des ganzen Batches zu warten.
Source: https://rfriedmann.de/de/blog/continuous-batching/ · English: https://rfriedmann.de/blog/continuous-batching/
Published: 2026-06-24 · Track: log · Level: Advanced
[Decode ist bandbreitenbegrenzt](/de/blog/prefill-vs-decode-roofline/): Ein Token zu
erzeugen streamt die Gewichte des ganzen Modells durch die GPU, um ein einziges Wort zu
liefern, und die Recheneinheiten bleiben dabei größtenteils untätig. [Speculative
Decoding](/de/blog/speculative-decoding/) gibt diese brachliegende Rechenleistung für
einen einzelnen Stream aus. Batching gibt sie anders aus, und grundsätzlicher: Bediene
*viele Nutzer auf einmal* und lass sie alle dieselbe Fahrt über die Gewichte teilen.
Es ist der größte einzelne Hebel für den Durchsatz, sobald du mehr als eine Person
bedienst, und die naive Version lässt den Großteil des Gewinns liegen. Die Lösung,
Continuous Batching, ist eine dieser Ideen, die im Nachhinein offensichtlich sind und in
frühen Serving-Stacks tatsächlich fehlten.
## Warum Batching fast nichts kostet
Wieder das Roofline-Argument. Die Gewichte zu laden, um ein Token zu dekodieren, kostet
eine feste Menge Speicherbandbreite. Die entscheidende Tatsache: Sie zu laden, um *acht*
Tokens zu dekodieren, eines für jede der Sequenzen von acht verschiedenen Nutzern,
kostet fast dieselbe Bandbreite, denn es sind dieselben Gewichte, einmal geladen und
achtmal wiederverwendet. Die Recheneinheiten lagen sowieso brach; jetzt leisten sie pro
Ladevorgang die Arbeit von acht Tokens statt von einem.
Der Durchsatz steigt mit der Batch-Größe (Decode, eine Karte)
[diagram omitted — see the page for the chart]
Jede zusätzliche Sequenz im Batch fährt auf demselben Laden der Gewichte mit, also steigt der Gesamtdurchsatz anfangs steil. Irgendwann sind die Recheneinheiten oder der Speicher für den KV-Cache erschöpft, und die Kurve flacht ab. Das Tempo pro Nutzer sinkt ein wenig; die Gesamtleistung steigt stark. Kurvenform illustrativ.
Beachte, was Batching tut und was nicht: Es erhöht den *gesamten* Durchsatz dramatisch,
es macht die Antwort eines einzelnen Nutzers **nicht** schneller (wenn überhaupt, etwas
langsamer). Es ist ein Durchsatz-Trick, keiner für die Latenz. Wenn du viele bedienst,
ist der Durchsatz die Rechnung.
## Der Haken: Requests stellen sich nicht brav in eine Reihe
Also einfach Requests zu Batches sammeln und los? Das ist **Static Batching**, und es
hat einen hässlichen Fehlermodus, sobald du echten Traffic bedienst: Requests kommen zu
unterschiedlichen Zeiten an und enden bei völlig unterschiedlichen Längen. Ein Nutzer
will eine Antwort aus drei Wörtern, ein anderer eine aus dreitausend. Sperr sie in einen
festen Batch, und der ganze Batch läuft, bis das *längste* Mitglied fertig ist.
Static Batching: kurze Antworten warten untätig auf die lange
[diagram omitted — see the page for the chart]
A und B sind längst fertig, aber ihre Slots bleiben gesperrt und tun nichts, bis C, die längste Sequenz, durch ist. Neue Requests warten draußen, bis der ganze Batch abgearbeitet ist. Die GPU, die du bezahlt hast, läuft halb leer.
Kurze Requests zahlen also für lange, fertige Slots stehen leer, und frische Requests
stauen sich hinter einem Batch, der nicht abfließt. Bei stoßweisem Traffic mit
gemischten Längen, und das ist jeder echte Traffic, verschwendet Static Batching einen
großen Teil der Karte.
## Die Lösung: Batching pro Token, nicht pro Request
**Continuous Batching** (auch In-flight Batching genannt) wirft die Idee eines festen
Batches ganz über Bord. Die Einsicht: Decode läuft für jede Sequenz ohnehin in
Token-Schritten, also nimm *jeden Schritt* als Einheit und lass die Zusammensetzung des
Batches sich mit jedem Schritt ändern.
- Gibt eine Sequenz ihr End-of-Text-Token aus, **verlässt** sie den Batch sofort, in
genau diesem Schritt, und gibt ihren Slot frei. Kein Warten auf die Nachbarn.
- Ein wartender Request **steigt ein**, sobald ein Slot frei wird (nach einem schnellen
[Prefill](/de/blog/prefill-vs-decode-roofline/) seines Prompts), mitten im Flug, ohne
dass irgendetwas geleert werden muss.
Der Batch wird zu einer lebendigen Menge: Sequenzen fließen ständig hinein und hinaus,
und die GPU bleibt so voll, wie Arbeit da ist, Schritt für Schritt. Eine Antwort aus
drei Wörtern ist nach drei Schritten weg, und ihr Slot wird sofort wiederverwendet; die
Antwort aus dreitausend Tokens blockiert nie jemanden. Das ist die ganze Idee, und sie
steigert den realen Durchsatz gegenüber Static Batching auf derselben Hardware
routinemäßig um ein Mehrfaches, allein dadurch, dass keine Slots verschwendet werden.
Static Batching
Kinderleicht zu implementieren
Batch läuft, bis das längste Mitglied fertig ist
Fertige Sequenzen belegen leere Slots
Neue Requests warten, bis der Batch durch ist
Continuous Batching
Slots werden in jedem Token-Schritt frei und neu belegt
GPU bleibt bei stoßweisem Traffic mit gemischten Längen voll
Neue Requests steigen fast sofort ein
Mehr Buchführung, und der KV-Speicher muss verwaltet werden
## Was es kostet und wo es an seine Grenze stößt
Continuous Batching ist kein Engineering zum Nulltarif. Wenn in jedem Schritt Sequenzen
dazukommen und gehen, jongliert der Scheduler den
[KV-Cache](/de/blog/kv-cache-and-long-context/) für eine ständig wechselnde Menge von
Sequenzen, jede mit anderer Länge. Genau deshalb kombinieren moderne Server es mit
Paged-KV-Verwaltung (der Cache jeder Sequenz liegt in Blöcken fester Größe, wie bei
virtuellem Speicher, sodass sich Slots belegen und freigeben lassen, ohne die Karte zu
fragmentieren). Die beiden Ideen gehören zusammen: Continuous Batching hält die
Recheneinheiten ausgelastet, Paged KV verhindert, dass der Speicher zu dem wird, was
dich stoppt.
Und die Decke ist wie immer der [KV-Cache](/de/blog/kv-cache-and-long-context/), nicht
die Rechenleistung. Jede Sequenz im Batch braucht ihren eigenen Cache, und auf einer
[einzelnen Consumer-Karte](/de/blog/what-the-5090-lacks-vs-datacenter/) mit begrenztem
Restspeicher nach den Gewichten deckelt dieser Cache, wie viele Nutzer du gleichzeitig
halten kannst. Der Durchsatz will einen größeren Batch; der Speicher sagt nein. Diesen
Tausch abzustimmen, Batch-Größe gegen Kontextlänge gegen freies VRAM, ist der Großteil
der Kunst, ein LLM auf einer Karte zu bedienen, und dort wird die [Zahl von 300
tok/s](/de/blog/serving-30b-models-rtx-5090/) wirklich gewonnen oder verloren, sobald
mehr als eine Person fragt.