Was einer Consumer-RTX-5090 neben einer Rechenzentrums-GPU fehlt
Die 5090 und die B200 sind beide Blackwell, aber dem Consumer-Chip fehlen ganze Fähigkeiten. Was weg ist, was es kostet und warum sich Rechenzentrums-Code nicht portieren lässt.
NVIDIAs RTX 5090 und ihre Schwester aus dem Rechenzentrum, die B200, sind beide „Blackwell“. Der Name legt eine Familienähnlichkeit nahe, und auf dem Datenblatt liest du dieselben Begriffe: FP4-Tensor-Cores, fünfte Generation hier, Blackwell da. Schreib aber eine Woche lang Kernel für den Consumer-Chip, und du stellst fest, dass ihm ganze Fähigkeiten fehlen, die das Rechenzentrums-Modell als selbstverständlich voraussetzt.
Das hier ist ein Rundgang durch diese Lücke: warum sie echtes Silizium ist und keine Software-Sperre, und was sie dich beim Betrieb großer Sprachmodelle tatsächlich kostet.
Der große Punkt: Die Matrix-Engine kann nicht im Hintergrund arbeiten#
Moderne Rechenzentrums-GPUs haben eine Funktion, die Consumer-Blackwell nicht hat. Auf
einer B200 können die Tensor Cores (die Einheiten, die die riesigen
Matrixmultiplikationen im Herzen jedes Modells ausführen) asynchron laufen: Du stößt
eine Matmul an, die GPU zieht los und erledigt andere nützliche Arbeit, und später holst
du das Ergebnis ab. Damit das reibungslos läuft, gibt es eine ganze Familie von
Instruktionen, mit Namen wie tcgen05 und TMEM. So halten die schnellsten
Attention-Kernel jeden Teil des Chips gleichzeitig beschäftigt.
Es hilft, das in zwei Hälften zu teilen. Die Async-Copy-Engine, TMA
(cp.async.bulk.tensor, der Tensor Memory Accelerator, den es seit Hopper gibt) plus
einfaches cp.async, hat die 5090. Den Async-Compute-Pfad, den Teil, der die Tensor
Cores direkt aus dieser Pipeline konsumieren lässt (tcgen05, TMEM und Hoppers
wgmma), hat sie nicht. Die 5090 kann also Daten im Hintergrund streamen, aber ihre
Matrix-Engine kann nicht im Hintergrund laufen.
Das Ergebnis: Die RTX 5090 hat keine einzige der Async-Compute-Instruktionen. Oder, wie es imps eigene Kernel-Notizen ausdrücken, auf diesem Chip gilt „the MMA always blocks the issuing warp“: Die Matrix-Instruktion hält an und wartet auf ihr eigenes Ergebnis, bevor irgendetwas anderes passieren kann. Die Async-Kopie kann das nächste Tile vorausladen, aber sie kann die Matrixmultiplikation selbst nicht verstecken, die synchron bleibt.
Rechenzentrums-Blackwell - B200 (sm_100)
- tcgen05 / TMEM (asynchrone Matrix-Engine)
- TMA (Async-Kopie)
- FP4-Tensor-Cores
Consumer-Blackwell - RTX 5090 (sm_120a)
- tcgen05 / TMEM
- TMA (Async-Kopie, cp.async.bulk.tensor)
- FP4-Tensor-Cores (mma.sync, blockierend)
- cp.async, HMMA m16n8k16
Die 5090 ist also kein schwacher Chip. Sie hat echte FP4-Tensor-Cores und die schnelle Async-Copy-Infrastruktur, um sie zu füttern. Sie ist schlicht anders geformt: Sie kann die schwere Rechnerei, nur eben nicht im Hintergrund, während sie sich um etwas anderes kümmert.
Die andere Lücke: Speicher#
Rechenleistung ist nur die halbe Geschichte. Die andere Hälfte ist, wie schnell du sie füttern kannst.
Text zu erzeugen ist vor allem ein Speicherproblem, kein Rechenproblem. Für einen typischen Decode-Schritt liegt das Verhältnis der Zeit fürs Laden von Daten zur Zeit für die Arithmetik bei rund 465 zu 1: Ein Attention-Layer bei 2048 Tokens, 8 Heads, Head Dim 128, FP16 lädt 8,4 MB K und V in 4,7 µs bei 1,8 TB/s, während seine 8,4 MFLOPs bei 838 TFLOP/s 0,01 µs dauern (mit FP32-Akkumulation immer noch ~140 zu 1). Der Chip verbringt fast seine ganze Zeit damit, Gewichte herumzuschieben, und fast keine mit Rechnen. „Compute is free“, wie es die Docs unverblümt sagen. Das hat eine beruhigende und eine unangenehme Seite. Die beruhigende: Für Single-Stream-Decoding reichen die 1,79 TB/s der 5090, um wirklich schnell zu sein. Die unangenehme: Triffst du auf einen Job, der an reiner Bandbreite oder Kapazität hängt, hat die Rechenzentrums-Karte ~4,5x die Speicherbandbreite und ~6x die Kapazität (192 gegenüber 32 GB) und zieht einfach davon, und kein cleverer Code schließt das.
Dazu kommt ein leiserer Unterschied: Die 5090 hat einen L2-Cache von 96 MB, und Rechenzentrums-Blackwell kombiniert einen eigenen großen L2 mit weit mehr HBM-Bandbreite und -Kapazität obendrauf. (Keines der beiden Modelle hat einen L3 wie bei Gaming-Chips.) Klein auf einer Folie, aber es prägt, welche Optimierungen sich überhaupt zu probieren lohnen.
Warum du den Rechenzentrums-Code nicht einfach portieren kannst#
Leg diese beiden Lücken zusammen, und du bekommst die praktische Schlussfolgerung: Der beste Kernel für eine B200 ist nicht der beste Kernel für eine 5090. Es sind verschiedene Designs, nicht dasselbe Design bei verschiedenem Tempo.
B200: im Stil von FlashAttention-4
- Drei Hardware-Pipelines überlappen sich
- Asynchrone Matrix-Engine versteckt ihre eigene Latenz
- Gebaut auf tcgen05 / TMEM / TMA
5090: was tatsächlich gewinnt
- FlashAttention-2, Output bleibt in Registern
- cp.async-Doppelpufferung, um Loads zu verstecken
- Softmax überlappt auf einer Nebeneinheit
Das ist keine Vermutung. Jemand (na gut, Claude Code, unter meiner Anleitung) hat den vollen Rechenzentrums-Ansatz für die Haupt-Matrixmultiplikation der 5090 gebaut: die asynchronen TMA-Loads, das warp-spezialisierte Producer/Consumer-Design, die gesamte Methode. Er war korrekt und lief langsamer: in einer einzelnen internen Messung 509 gegenüber 629 TFLOP/s für das einfachere Design. Beides sind NVFP4-GEMMs (4-Bit-E2M1-Eingaben mit UE4M3-Block-Skalierungsfaktoren pro 16 Elemente); die Problemgröße dieses Laufs wurde nicht festgehalten. Die aufwendige Maschinerie lässt den Chip an Parallelität verhungern, um ihren einen cleveren Loader zu füttern. Auf dieser Hardware ist die Lehrbuchtechnik aus dem Rechenzentrum das falsche Werkzeug, und dieses Ergebnis ist im Repo eingecheckt, damit es niemand neu herausfinden muss.
Die Zusammenfassung im direkten Vergleich:
| Merkmal | RTX 5090 (sm_120a) | B200 (sm_100) |
|---|---|---|
| Asynchrone Matrix-Engine | nein | ja |
| Warp-Group-GEMM (wgmma) | nein | nein (nur Hopper) |
| Warp-spezialisierte Async-Compute-GEMM | nein | ja |
| TMA-Async-Kopie (cp.async.bulk.tensor) | ja | ja |
| FP4-Tensor-Cores | ja (blockierend) | ja (asynchron) |
| Nutzbares Shared Memory / SM | ~99 KB | mehr |
| L2-Cache | 96 MB | großer L2 (kein L3 wie bei Gaming-Chips auf beiden Seiten) |
| Speicher | 32 GB GDDR7, 1,79 TB/s | ~192 GB HBM3e, ~8 TB/s |
Was ist die 5090 dann?#
Keine Baby-B200. Sie ist eine eigene Maschine, und ehrlich betrachtet gewinnst du etwas und verlierst etwas. Du verlierst die asynchrone Matrix-Engine, die Bandbreite, die Kapazität und damit jede Hoffnung, bei den schweren parallelen Jobs an den Rechenzentrums-Durchsatz heranzukommen. Du verlierst auch NVLink (die 5090 spricht nur über PCIe, Multi-GPU-Scale-out ist also weit schwächer) und den größten Teil des FP64-Durchsatzes (auf etwa 1:64 gekürzt), was sie für HPC-Arbeit in doppelter Genauigkeit ausschließt. Im Tausch bekommst du eine Karte, die mit der richtigen Art Kernel große Modelle in einem Tempo dekodiert, das sonst niemand auf Consumer-Hardware liefert, zu einem kleinen Bruchteil des Preises und der Leistungsaufnahme.
Die Lücke zu einer Rechenzentrums-Karte ist real, und bei den härtesten Kerneln ist sie eine Decke aus Silizium, nicht aus Code. Aber „anders geformt“ ist nicht dasselbe wie „bei allem langsamer“, und das ganze Spiel besteht darin, die Dinge zu finden, die dieser Chip still und leise sehr gut kann.