Raphael Friedmann
← Das Log

Continuous Batching: wie eine GPU viele auf einmal bedient

Ein einzelner Decode-Stream verschwendet den Großteil der GPU. Bediene viele Requests auf einmal, teile jeden Durchlauf über die Gewichte und hör auf, auf das Ende des ganzen Batches zu warten.

Decode ist bandbreitenbegrenzt: Ein Token zu erzeugen streamt die Gewichte des ganzen Modells durch die GPU, um ein einziges Wort zu liefern, und die Recheneinheiten bleiben dabei größtenteils untätig. Speculative Decoding gibt diese brachliegende Rechenleistung für einen einzelnen Stream aus. Batching gibt sie anders aus, und grundsätzlicher: Bediene viele Nutzer auf einmal und lass sie alle dieselbe Fahrt über die Gewichte teilen.

Es ist der größte einzelne Hebel für den Durchsatz, sobald du mehr als eine Person bedienst, und die naive Version lässt den Großteil des Gewinns liegen. Die Lösung, Continuous Batching, ist eine dieser Ideen, die im Nachhinein offensichtlich sind und in frühen Serving-Stacks tatsächlich fehlten.

Warum Batching fast nichts kostet#

Wieder das Roofline-Argument. Die Gewichte zu laden, um ein Token zu dekodieren, kostet eine feste Menge Speicherbandbreite. Die entscheidende Tatsache: Sie zu laden, um acht Tokens zu dekodieren, eines für jede der Sequenzen von acht verschiedenen Nutzern, kostet fast dieselbe Bandbreite, denn es sind dieselben Gewichte, einmal geladen und achtmal wiederverwendet. Die Recheneinheiten lagen sowieso brach; jetzt leisten sie pro Ladevorgang die Arbeit von acht Tokens statt von einem.

Der Durchsatz steigt mit der Batch-Größe (Decode, eine Karte)
0tok/s gesamt181632Batch-Größeerst fast linear: Bandbreite geteiltflacht ab: Rechen-/Speichergrenze
Jede zusätzliche Sequenz im Batch fährt auf demselben Laden der Gewichte mit, also steigt der Gesamtdurchsatz anfangs steil. Irgendwann sind die Recheneinheiten oder der Speicher für den KV-Cache erschöpft, und die Kurve flacht ab. Das Tempo pro Nutzer sinkt ein wenig; die Gesamtleistung steigt stark. Kurvenform illustrativ.

Beachte, was Batching tut und was nicht: Es erhöht den gesamten Durchsatz dramatisch, es macht die Antwort eines einzelnen Nutzers nicht schneller (wenn überhaupt, etwas langsamer). Es ist ein Durchsatz-Trick, keiner für die Latenz. Wenn du viele bedienst, ist der Durchsatz die Rechnung.

Der Haken: Requests stellen sich nicht brav in eine Reihe#

Also einfach Requests zu Batches sammeln und los? Das ist Static Batching, und es hat einen hässlichen Fehlermodus, sobald du echten Traffic bedienst: Requests kommen zu unterschiedlichen Zeiten an und enden bei völlig unterschiedlichen Längen. Ein Nutzer will eine Antwort aus drei Wörtern, ein anderer eine aus dreitausend. Sperr sie in einen festen Batch, und der ganze Batch läuft, bis das längste Mitglied fertig ist.

Static Batching: kurze Antworten warten untätig auf die lange
req Aleer, Slot vergeudetreq Breq ClängsteSlots von A und B bleiben belegt, bis C fertig ist: Durchsatz verschenkt
A und B sind längst fertig, aber ihre Slots bleiben gesperrt und tun nichts, bis C, die längste Sequenz, durch ist. Neue Requests warten draußen, bis der ganze Batch abgearbeitet ist. Die GPU, die du bezahlt hast, läuft halb leer.

Kurze Requests zahlen also für lange, fertige Slots stehen leer, und frische Requests stauen sich hinter einem Batch, der nicht abfließt. Bei stoßweisem Traffic mit gemischten Längen, und das ist jeder echte Traffic, verschwendet Static Batching einen großen Teil der Karte.

Die Lösung: Batching pro Token, nicht pro Request#

Continuous Batching (auch In-flight Batching genannt) wirft die Idee eines festen Batches ganz über Bord. Die Einsicht: Decode läuft für jede Sequenz ohnehin in Token-Schritten, also nimm jeden Schritt als Einheit und lass die Zusammensetzung des Batches sich mit jedem Schritt ändern.

  • Gibt eine Sequenz ihr End-of-Text-Token aus, verlässt sie den Batch sofort, in genau diesem Schritt, und gibt ihren Slot frei. Kein Warten auf die Nachbarn.
  • Ein wartender Request steigt ein, sobald ein Slot frei wird (nach einem schnellen Prefill seines Prompts), mitten im Flug, ohne dass irgendetwas geleert werden muss.

Der Batch wird zu einer lebendigen Menge: Sequenzen fließen ständig hinein und hinaus, und die GPU bleibt so voll, wie Arbeit da ist, Schritt für Schritt. Eine Antwort aus drei Wörtern ist nach drei Schritten weg, und ihr Slot wird sofort wiederverwendet; die Antwort aus dreitausend Tokens blockiert nie jemanden. Das ist die ganze Idee, und sie steigert den realen Durchsatz gegenüber Static Batching auf derselben Hardware routinemäßig um ein Mehrfaches, allein dadurch, dass keine Slots verschwendet werden.

Static Batching

  • Kinderleicht zu implementieren
  • Batch läuft, bis das längste Mitglied fertig ist
  • Fertige Sequenzen belegen leere Slots
  • Neue Requests warten, bis der Batch durch ist

Continuous Batching

  • Slots werden in jedem Token-Schritt frei und neu belegt
  • GPU bleibt bei stoßweisem Traffic mit gemischten Längen voll
  • Neue Requests steigen fast sofort ein
  • Mehr Buchführung, und der KV-Speicher muss verwaltet werden

Was es kostet und wo es an seine Grenze stößt#

Continuous Batching ist kein Engineering zum Nulltarif. Wenn in jedem Schritt Sequenzen dazukommen und gehen, jongliert der Scheduler den KV-Cache für eine ständig wechselnde Menge von Sequenzen, jede mit anderer Länge. Genau deshalb kombinieren moderne Server es mit Paged-KV-Verwaltung (der Cache jeder Sequenz liegt in Blöcken fester Größe, wie bei virtuellem Speicher, sodass sich Slots belegen und freigeben lassen, ohne die Karte zu fragmentieren). Die beiden Ideen gehören zusammen: Continuous Batching hält die Recheneinheiten ausgelastet, Paged KV verhindert, dass der Speicher zu dem wird, was dich stoppt.

Und die Decke ist wie immer der KV-Cache, nicht die Rechenleistung. Jede Sequenz im Batch braucht ihren eigenen Cache, und auf einer einzelnen Consumer-Karte mit begrenztem Restspeicher nach den Gewichten deckelt dieser Cache, wie viele Nutzer du gleichzeitig halten kannst. Der Durchsatz will einen größeren Batch; der Speicher sagt nein. Diesen Tausch abzustimmen, Batch-Größe gegen Kontextlänge gegen freies VRAM, ist der Großteil der Kunst, ein LLM auf einer Karte zu bedienen, und dort wird die Zahl von 300 tok/s wirklich gewonnen oder verloren, sobald mehr als eine Person fragt.