# Was einer Consumer-RTX-5090 neben einer Rechenzentrums-GPU fehlt
> Die 5090 und die B200 sind beide Blackwell, aber dem Consumer-Chip fehlen ganze Fähigkeiten. Was weg ist, was es kostet und warum sich Rechenzentrums-Code nicht portieren lässt.
Source: https://rfriedmann.de/de/blog/what-the-5090-lacks-vs-datacenter/ · English: https://rfriedmann.de/blog/what-the-5090-lacks-vs-datacenter/
Published: 2026-06-17 · Track: log · Level: Advanced
NVIDIAs RTX 5090 und ihre Schwester aus dem Rechenzentrum, die B200, sind beide
„Blackwell“. Der Name legt eine Familienähnlichkeit nahe, und auf dem Datenblatt liest
du dieselben Begriffe: FP4-Tensor-Cores, fünfte Generation hier, Blackwell da. Schreib
aber eine Woche lang Kernel für den Consumer-Chip, und du stellst fest, dass ihm ganze
Fähigkeiten fehlen, die das Rechenzentrums-Modell als selbstverständlich voraussetzt.
Das hier ist ein Rundgang durch diese Lücke: warum sie echtes Silizium ist und keine
Software-Sperre, und was sie dich beim Betrieb großer Sprachmodelle tatsächlich kostet.
## Der große Punkt: Die Matrix-Engine kann nicht im Hintergrund arbeiten
Moderne Rechenzentrums-GPUs haben eine Funktion, die Consumer-Blackwell nicht hat. Auf
einer B200 können die Tensor Cores (die Einheiten, die die riesigen
Matrixmultiplikationen im Herzen jedes Modells ausführen) **asynchron** laufen: Du stößt
eine Matmul an, die GPU zieht los und erledigt andere nützliche Arbeit, und später holst
du das Ergebnis ab. Damit das reibungslos läuft, gibt es eine ganze Familie von
Instruktionen, mit Namen wie `tcgen05` und `TMEM`. So halten die schnellsten
Attention-Kernel jeden Teil des Chips gleichzeitig beschäftigt.
Es hilft, das in zwei Hälften zu teilen. Die Async-*Copy*-Engine, TMA
(`cp.async.bulk.tensor`, der Tensor Memory Accelerator, den es seit Hopper gibt) plus
einfaches `cp.async`, hat die 5090. Den Async-*Compute*-Pfad, den Teil, der die Tensor
Cores direkt aus dieser Pipeline konsumieren lässt (`tcgen05`, `TMEM` und Hoppers
`wgmma`), hat sie nicht. Die 5090 kann also Daten im Hintergrund streamen, aber ihre
Matrix-Engine kann nicht im Hintergrund laufen.
Das Ergebnis: Die RTX 5090 hat keine einzige der Async-Compute-Instruktionen. Oder, wie
es imps eigene Kernel-Notizen ausdrücken, auf diesem Chip gilt „the MMA always blocks
the issuing warp“: Die Matrix-Instruktion hält an und wartet auf ihr eigenes Ergebnis,
bevor irgendetwas anderes passieren kann. Die Async-Kopie kann das nächste Tile
vorausladen, aber sie kann die Matrixmultiplikation selbst nicht verstecken, die
synchron bleibt.
Rechenzentrums-Blackwell - B200 (sm_100)
tcgen05 / TMEM (asynchrone Matrix-Engine)
TMA (Async-Kopie)
FP4-Tensor-Cores
Consumer-Blackwell - RTX 5090 (sm_120a)
tcgen05 / TMEM
TMA (Async-Kopie, cp.async.bulk.tensor)
FP4-Tensor-Cores (mma.sync, blockierend)
cp.async, HMMA m16n8k16
Die 5090 ist also kein schwacher Chip. Sie hat echte FP4-Tensor-Cores und die schnelle
Async-Copy-Infrastruktur, um sie zu füttern. Sie ist schlicht anders geformt: Sie kann
die schwere Rechnerei, nur eben nicht im Hintergrund, während sie sich um etwas anderes
kümmert.
## Die andere Lücke: Speicher
Rechenleistung ist nur die halbe Geschichte. Die andere Hälfte ist, wie schnell du sie
füttern kannst.
Speicherbandbreite: die Lücke, die du nicht wegtunen kannst
[diagram omitted — see the page for the chart]
Die 1,79 TB/s der 5090 (32 GB GDDR7) sind in imps sm120.md dokumentiert. Die Angabe für die B200 (~8 TB/s HBM3e) ist NVIDIAs veröffentlichte Spezifikation, gezeigt zur Einordnung.
Text zu erzeugen ist vor allem ein Speicherproblem, kein Rechenproblem. Für einen
typischen Decode-Schritt liegt das Verhältnis der Zeit fürs Laden von
Daten zur Zeit für die Arithmetik bei rund **465 zu 1**: Ein Attention-Layer bei 2048
Tokens, 8 Heads, Head Dim 128, FP16 lädt 8,4 MB K und V in 4,7 µs bei 1,8
TB/s, während seine 8,4 MFLOPs bei 838 TFLOP/s 0,01 µs dauern (mit FP32-Akkumulation
immer noch ~140 zu 1). Der Chip verbringt fast seine ganze Zeit damit, Gewichte
herumzuschieben, und fast keine mit Rechnen. „Compute is free“, wie es die Docs
unverblümt sagen. Das hat eine beruhigende und eine unangenehme Seite. Die beruhigende:
Für Single-Stream-Decoding reichen die 1,79 TB/s der 5090, um wirklich schnell zu sein.
Die unangenehme: Triffst du auf einen Job, der an reiner Bandbreite oder Kapazität
hängt, hat die Rechenzentrums-Karte ~4,5x die Speicherbandbreite und ~6x die Kapazität
(192 gegenüber 32 GB) und zieht einfach davon, und kein cleverer Code schließt das.
Dazu kommt ein leiserer Unterschied: Die 5090 hat einen L2-Cache von 96 MB, und
Rechenzentrums-Blackwell kombiniert einen eigenen großen L2 mit weit mehr HBM-Bandbreite
und -Kapazität obendrauf. (Keines der beiden Modelle hat einen L3 wie bei Gaming-Chips.)
Klein auf einer Folie, aber es prägt, welche Optimierungen sich überhaupt zu probieren
lohnen.
## Warum du den Rechenzentrums-Code nicht einfach portieren kannst
Leg diese beiden Lücken zusammen, und du bekommst die praktische Schlussfolgerung: Der
beste Kernel für eine B200 ist nicht der beste Kernel für eine 5090. Es sind
verschiedene Designs, nicht dasselbe Design bei verschiedenem Tempo.
B200: im Stil von FlashAttention-4
Drei Hardware-Pipelines überlappen sich
Asynchrone Matrix-Engine versteckt ihre eigene Latenz
Gebaut auf tcgen05 / TMEM / TMA
5090: was tatsächlich gewinnt
FlashAttention-2, Output bleibt in Registern
cp.async-Doppelpufferung, um Loads zu verstecken
Softmax überlappt auf einer Nebeneinheit
Das ist keine Vermutung. Jemand (na gut, Claude Code, unter meiner Anleitung) hat den
vollen Rechenzentrums-Ansatz für die Haupt-Matrixmultiplikation der 5090 gebaut: die
asynchronen TMA-Loads, das warp-spezialisierte Producer/Consumer-Design, die gesamte
Methode. Er war korrekt und lief **langsamer**: in einer einzelnen internen Messung 509
gegenüber 629 TFLOP/s für das einfachere Design. Beides sind NVFP4-GEMMs
(4-Bit-E2M1-Eingaben mit UE4M3-Block-Skalierungsfaktoren pro 16 Elemente); die
Problemgröße dieses Laufs wurde nicht festgehalten. Die aufwendige Maschinerie lässt den
Chip an Parallelität verhungern, um ihren einen cleveren Loader zu füttern. Auf dieser
Hardware ist die Lehrbuchtechnik aus dem Rechenzentrum das falsche Werkzeug, und dieses
Ergebnis ist im Repo eingecheckt, damit es niemand neu herausfinden muss.
Die Zusammenfassung im direkten Vergleich:
| Merkmal | RTX 5090 (sm_120a) | B200 (sm_100) |
|---|---|---|
| Asynchrone Matrix-Engine | nein | ja |
| Warp-Group-GEMM (wgmma) | nein | nein (nur Hopper) |
| Warp-spezialisierte Async-Compute-GEMM | nein | ja |
| TMA-Async-Kopie (cp.async.bulk.tensor) | ja | ja |
| FP4-Tensor-Cores | ja (blockierend) | ja (asynchron) |
| Nutzbares Shared Memory / SM | ~99 KB | mehr |
| L2-Cache | 96 MB | großer L2 (kein L3 wie bei Gaming-Chips auf beiden Seiten) |
| Speicher | 32 GB GDDR7, 1,79 TB/s | ~192 GB HBM3e, ~8 TB/s |
## Was ist die 5090 dann?
Keine Baby-B200. Sie ist eine eigene Maschine, und ehrlich betrachtet gewinnst du etwas
und verlierst etwas. Du verlierst die asynchrone Matrix-Engine, die Bandbreite, die
Kapazität und damit jede Hoffnung, bei den schweren parallelen Jobs an den
Rechenzentrums-Durchsatz heranzukommen. Du verlierst auch NVLink (die 5090 spricht nur
über PCIe, Multi-GPU-Scale-out ist also weit schwächer) und den größten Teil des
FP64-Durchsatzes (auf etwa 1:64 gekürzt), was sie für HPC-Arbeit in doppelter
Genauigkeit ausschließt. Im Tausch bekommst du eine Karte, die mit der richtigen Art
Kernel große Modelle in einem Tempo dekodiert, das sonst niemand auf Consumer-Hardware
liefert, zu einem kleinen Bruchteil des Preises und der Leistungsaufnahme.
Die Lücke zu einer Rechenzentrums-Karte ist real, und bei den härtesten Kerneln ist sie
eine Decke aus Silizium, nicht aus Code. Aber „anders geformt“ ist nicht dasselbe wie
„bei allem langsamer“, und das [ganze
Spiel](/de/blog/optimizing-kernels-consumer-blackwell/) besteht darin, die Dinge zu
finden, die dieser Chip still und leise sehr gut kann.