# Eine Abhängigkeit bumpen, die du nicht lesen kannst > CUTLASS unter imps 4-Bit-Mathematik aktualisieren. In numerischem CUDA stürzt ein schlechter Bump nicht ab, er liefert falsche Zahlen. Du reviewst ihn nicht, du machst ihn überprüfbar. Source: https://rfriedmann.de/de/blog/bumping-a-dependency-you-cant-read/ · English: https://rfriedmann.de/blog/bumping-a-dependency-you-cant-read/ Published: 2026-06-17 · Track: log · Level: Advanced [CUTLASS](https://github.com/NVIDIA/cutlass) ist NVIDIAs Bibliothek von GEMM-Bausteinen, und sie liegt unter den [NVFP4-4-Bit-Matrixmultiplikationen](/de/blog/nvfp4-at-the-bit-level/), die [imp](https://github.com/kekzl/imp) schnell machen. Neulich habe ich sie von v4.5.1 auf v4.5.2 gebumpt. Ein Zeichen in einem Versionsstring. In den meisten Projekten ist das ein Schulterzucken und ein grüner Haken. In numerischem CUDA nicht, und der Grund dafür ist der ganze Sinn dieses Posts. Ein schlechter Dependency-Bump wirft hier keine Exception und keinen Segfault. Er kompiliert sauber, läuft fröhlich und liefert Zahlen, die *ein bisschen* falsch sind: ein GEMM, das um ein Haar anders akkumuliert, ein Skalierungsfaktor, der um ein Bit daneben dekodiert wird. Lautlos. Die Art Bug, die ausgeliefert wird und drei Wochen später als Modell auftaucht, das auf rätselhafte Weise ein wenig dümmer ist. Aus so etwas kommst du nicht durch Lesen heraus. Ich kann nicht jede Zeile [der 97.000 Zeilen CUDA in imp](/de/blog/writing-cuda-with-an-agent/) lesen, und erst recht kann ich nicht den Release-Diff von CUTLASS lesen und mich davon überzeugen, dass die Mathematik unverändert ist. Der Bump kann also nicht *reviewbar* sein. Er muss *überprüfbar* sein. Hier ist das ganze Verfahren, von Anfang bis Ende mit [Claude Code](https://claude.com/product/claude-code) durchgezogen.
2
gebumpte Pins (der maßgebliche in cmake, dazu der Dockerfile-Default)
~15 min
kompletter sauberer Rebuild auf meiner Maschine, alle CUTLASS-Einheiten
187 / 187
numerische Tests grün, inkl. fp64-Oracles
0
Zeilen CUTLASS-Quellcode, die ich für den Bump gelesen habe (sicher gemacht hat ihn das Oracle)
## Gate null: Gibt es das Tag überhaupt? Die billigste Prüfung, die es gibt, und leicht zu überspringen: Bevor du irgendetwas änderst, stell sicher, dass die Version, *auf die* du bumpst, real ist. ```bash git ls-remote --tags https://github.com/NVIDIA/cutlass.git v4.5.2 v4.5.1 # db1c2889... refs/tags/v4.5.2 <- it exists ``` Ein Bump auf ein Tag, das nicht existiert, ist kein subtiler Bug, sondern ein garantiert kaputter Build fünfzehn Minuten in eine Neukompilierung hinein, wenn du längst nicht mehr hinschaust. Eine Zeile vorab erspart dir das. ## Eine Datei, mit Absicht Der nächste Fehlermodus ist struktureller Art. Versions-Pins verstecken sich gern an zwei Orten, in der Build-Konfiguration und im Dockerfile, und „beide bumpen“ ist genau der Schritt, den ein müder Mensch oder ein übereifriger Agent vergisst. Übrig bleibt ein Build, der eine Version zieht, und ein Container, der eine andere zieht. Deshalb pinnt imp Abhängigkeiten in genau einer maßgeblichen Datei: ```cmake # cmake/imp-deps.cmake - authoritative pin for third-party deps (the make path) set(IMP_DEP_CUTLASS_TAG v4.5.2 CACHE STRING "NVIDIA/cutlass git tag") ``` Mit einem Agenten zählt das mehr als ohne. Die Anweisung in der `CLAUDE.md` des Repos ist jetzt ein einziger Satz: Bumpe nur diese eine Datei. Das gilt für den `make`-Pfad; der Dockerfile-Default aus dem Kasten oben zieht trotzdem mit, deshalb hatte dieser Bump zwei Pins. Weniger Orte, an denen etwas falsch sein kann, sind weniger Arten, falschzuliegen, für mich und für den Agenten. (Die alte Notiz sagte noch „Pins liegen an zwei Orten, bumpe beide“; zu diesem Bump gehörte auch, dass der Agent diese veraltete Anweisung korrigiert hat, weil sie nicht mehr stimmte.) ## Gate eins: Kompiliert es? Jetzt das erste echte Gate. Ein sauberer Docker-Build, der CUTLASS v4.5.2 neu klont und jede Übersetzungseinheit neu kompiliert, die es berührt, das NVFP4-GEMM, das Grouped GEMM für [Mixture-of-Experts](/de/blog/mixture-of-experts-explained/), den MXFP4-Pfad, den Attention-Kernel, für genau eine Architektur: `sm_120a`, die RTX 5090. Etwa fünfzehn Minuten auf meinem Build-Host (Ryzen 7 9800X3D, 8 Kerne / 16 Threads, WSL2) mit dem CUDA-13.3.0-Toolkit (bei dir hängt es von CPU, Kernen und Toolkit ab). Erstaunlich viel Dependency-Schmerz stirbt genau hier. Ein Header, der umgezogen ist, eine Template-Signatur, die sich geändert hat, eine Deprecation, die zum harten Fehler aufgestiegen ist. Nichts davon ist subtil; es ist eine Wand aus Compiler-Ausgabe. Exit-Code null, oder der Bump ist schon tot, und du hast nur eine Kaffeepause verloren. ## Gate zwei: Stimmen die Zahlen noch innerhalb der Toleranz überein? Das ist das Gate, auf das es ankommt, und das, was die meisten Geschichten nach dem Muster „kompiliert, ab damit“ nie bauen. Dass eine GEMM-Bibliothek kompiliert, ist überhaupt kein Beleg dafür, dass sie noch dieselben Ergebnisse rechnet. Durch Lesen des Quellcodes lässt sich das nicht prüfen. Du prüfst es am *Ergebnis*, gegen eine Referenz, die geschrieben wurde, ohne CUTLASS überhaupt anzusehen. imps Oracle für das Grouped NVFP4 GEMM ist eine Matrixmultiplikation pro Experte, in fp64 auf der CPU gerechnet. Der Trick, der es scharf macht: Es dekodiert *exakt dieselben Bits*, die der GPU-Kernel verarbeitet hat, die gepackten [E2M1-4-Bit-Werte und ihre UE4M3-Mikro-Skalierungsfaktoren](/de/blog/nvfp4-at-the-bit-level/), von der Karte zurückgelesen und aus CUTLASS' internem Layout de-swizzled, direkt nach der veröffentlichten Formatdefinition dekodiert und bewusst nicht mit imps eigenem Dequantisierer. Das macht das Oracle unabhängig von imps Dequantisierer, aber nicht völlig frei von CUTLASS: Um die Skalierungsfaktoren zurückzulesen, muss es CUTLASS' internen Scale-Factor-Swizzle invertieren, es kodiert also weiterhin eine Abhängigkeit von CUTLASS' Speicherlayout. Weil Referenz und GPU identische quantisierte Eingaben fressen, hebt sich der Quantisierungsfehler auf. Zu vergleichen bleibt nur das Multiply-Accumulate selbst und das abschließende 16-Bit-Speichern der Ausgabe. Dabei tauchen drei verschiedene Zahlen auf, und sie sind nicht direkt vergleichbar. Die Elementauflösung einer einzelnen 4-Bit-Operation ist grob, in der Größenordnung von 1e-1. Die GEMM-Ausgabe landet dagegen bei einem relativen Fehler um 1e-3, kleiner, weil das 16-Bit-Speichern der Ausgabe und die Akkumulationsreihenfolge ihn bestimmen, nicht das 4-Bit-Elementraster (NVFP4 nutzt Blöcke aus 16 Elementen, und deshalb ist eine Zahl wie 1e-3 hier überhaupt aussagekräftig, statt im Raster pro Element unterzugehen). Die Test-Assertion nutzt dann eine Schwelle von 1e-2: locker genug, um über den gemessenen ~1e-3 zu liegen, eng genug, dass eine echte Regression sich nirgends verstecken kann. ### Der Test, der nicht fehlschlagen kann, ist der gefährliche Es gibt einen Geschwistertest, der das Grouped GEMM damit vergleicht, jeden Experten als eigenes GEMM laufen zu lassen. Das sieht nach Verifikation aus. Ist es aber nicht ganz, und der Unterschied ist die ganze Lehre:

Sieht aus wie eine Prüfung, ist keine

Kann wirklich fehlschlagen

Das ist dieselbe Falle wie bei [einem Agenten, der seine eigenen Tests schreibt](/de/blog/writing-cuda-with-an-agent/): Ein Test, der die Engine mit sich selbst vergleicht, beweist nichts, weil beide Hälften zur selben Zeit auf dieselbe Art falsch sind. Nur eine Prüfung gegen eine Quelle der Wahrheit von *außen* kann rot werden. Also trifft das Oracle auch die Ecken, in denen Staging-Bugs wohnen: einen leeren Experten mit null Tokens, einen Experten mit einem Token, einen großen, der die Tile-Grenze des Kernels überschreitet, eine K-Dimension, die die Scale-Block-Grenze überschreitet. Das Ergebnis für v4.5.2: 187 von 187 numerischen Tests grün, darunter das Grouped-fp64-Oracle und die Alpha-Scaling-Reproducer. Die 4-Bit-Mathematik stimmt weiterhin innerhalb des Toleranz-Gates von ~1e-2 relativ mit der fp64-Referenz überein und misst in der Praxis ~1e-3. Das ist nicht Bit für Bit identisch (das Toleranz-Gate erlaubt Unterschiede auf Bit-Ebene absichtlich), es ist die richtige Art von „unverändert“ für Gleitkomma-Arbeit. Jetzt vertraue ich dem Bump, und nicht früher. ## Was ich nicht verifiziert habe, und nicht so tue Eine ehrliche Lücke. imp hat auch ein Performance-Gate, eine Regressionsprüfung der Decode-Geschwindigkeit gegen eine eingecheckte Baseline. Sie hat bei diesem Bump nicht sinnvoll ausgelöst, weil das Baseline-Benchmark-Modell den NVFP4-Pfad, den CUTLASS treibt, gar nicht nimmt, es gab also nichts vorher und nachher zu vergleichen. Bei einem Dependency-Bump ist Korrektheit das Gate, nicht Tempo. Hätte v4.5.2 einen heißen Pfad berührt, den ich tatsächlich benutze, schuldete ich eine Vorher-Nachher-Messung in einer einzigen Session. Das hat es nicht, also werde ich keine Zahl aufhübschen, die ich nie erhoben habe. Und die Gates, auf die es hier ankommt, laufen auf meiner eigenen Maschine, der mit der 5090, als lokales `docker run --gpus all`. Die Cloud-CI hat nur CPUs; sie kann die Oracles gar nicht ausführen. Zwischen einer lautlosen Regression und `main` steht also kein grüner Haken an einem Pull Request. Dort stehen eine fp64-Referenz und eine Grafikkarte auf meinem Schreibtisch. ## Das Prinzip Bumpe, als könntest du es nicht lesen, denn das kannst du nicht, und der Agent auch nicht. Der Agent hat die gesamte mechanische Arbeit gemacht: das Tag geprüft, die eine Pin-Datei geändert, die veraltete Doku korrigiert, den Build gefahren, die Tests laufen lassen, den PR geöffnet. Nichts davon hat den Bump sicher gemacht. Sicher gemacht hat ihn ein Oracle, geschrieben lange bevor dieser Bump zur Debatte stand, dem es egal ist, wer oder was den Code geändert hat. Und um genau zu sein: „0 gelesene Zeilen“ bezieht sich auf den Bump selbst, nicht auf null CUTLASS-Wissen: Um dieses Oracle zu bauen, musste ich CUTLASS' Scale-Factor-Swizzle invertieren, und das setzte voraus, sein Scale-Layout zu verstehen. Das Wissen wurde einmal vorab bezahlt, damit jeder künftige Bump es nicht neu bezahlen muss. Das Oracle stellt nur eine Frage, jedes Mal dieselbe: *Haben sich die Zahlen geändert?* Bau das einmal, und ein beängstigendes Dependency-Update wird zu einer Fünfzehn-Minuten-Besorgung, die du einer Maschine geben kannst. Die Gates liegen alle im [öffentlichen Repo](https://github.com/kekzl/imp), falls du die Hausaufgaben nachlesen willst.