# APA: schlampige Attention, exakt, wo es zählt
> Ein Prefill-Kernel für die RTX 5090, der jedes Attention-Tile in FP4 rechnet, die 6 bis 10 %, die die Softmax-Masse tragen, exakt in FP16 nachrechnet und beides zusammenführt: 2,50x schneller als komplett exakt bei 122880 Keys.
Source: https://rfriedmann.de/de/blog/apa-adaptive-precision-attention/ · English: https://rfriedmann.de/blog/apa-adaptive-precision-attention/
Published: 2026-10-28 · Track: log · Level: Expert
Lange Prompts sind wegen der Attention teuer. Bei einem Prompt der Länge N wächst die
Attention-Arbeit mit N², der Rest des Modells mit N. Bei 122880 Keys brauchen 2048
Query-Zeilen von Llama-3.2-3B auf einer RTX 5090 13,023 ms, wenn jedes Tile exakt
gerechnet wird. [APA](https://github.com/kekzl/apa) erledigt dieselbe Arbeit in
5,200 ms.
Die Idee passt in einen Satz: Alles billig in FP4 rechnen, die wenigen Tiles finden, in
denen der FP4-Fehler tatsächlich in der Ausgabe auftauchen würde, nur diese exakt in
FP16 neu rechnen und die beiden Ergebnisse ohne jede Näherung zusammenführen. Dieser
Post geht durch, wie das funktioniert, und durch den Bug, der aus einer sauberen Idee
einen Kosinus von -0,638 machte, bevor er behoben war. Die vollständige Ausarbeitung mit
allen Tabellen ist das [Paper](https://github.com/kekzl/apa/blob/main/paper/apa.pdf).
## Zwei Lager und die Lücke dazwischen
Es gibt zwei etablierte Wege, Attention billiger zu machen.
| Ansatz | Beispiele | Behält jeden Key | Fehler |
|---|---|---|---|
| Niedrige Genauigkeit | SageAttention 1 bis 3 | ja | ein wenig auf jedem Score |
| Sparse | StreamingLLM, MInference, Quest | nein | keiner auf behaltenen Keys, total auf verworfenen |
| APA | | ja | FP4 auf Tiles mit wenig Masse, keiner auf Tiles mit viel Masse |
Niedrige Genauigkeit verteilt ihren Fehler gleichmäßig, auch über die Handvoll Keys, die
über die Ausgabe entscheiden. Sparsity ist exakt, wo sie hinschaut, und blind, wo nicht.
APA behält jeden Key, wie das erste Lager, und gibt Genauigkeit dort aus, wo die Masse
liegt, wie das zweite. Die Aufteilung wird nicht vorab geschätzt: Der FP4-Pass
entscheidet sie online, aus Zahlen, die er ohnehin rechnet.
## Warum das überhaupt funktionieren kann
Beim kausalen Prefill mit langem Kontext ist die Softmax-Masse einer Query-Zeile nicht
gleichmäßig verteilt. Einige wenige Key-Tiles tragen fast alles: typischerweise Tile 0,
der [Attention Sink](https://arxiv.org/abs/2309.17453), und die Tiles direkt vor der
Query auf der kausalen Diagonale. Die lange Mitte trägt eine dünne Schicht
Wahrscheinlichkeit, verteilt über Tausende Keys.
Eine Query-Zeile, Tiles aus 64 Keys, Anteil an der Softmax-Masse (schematisch)
[diagram omitted — see the page for the chart]
Tiles über der Schwelle ε (Akzentfarbe) sind heiß und werden in FP16 neu gerechnet. Alles darunter bleibt in FP4. Bei ε = 0,005 und 122880 Keys sind am Ende 6,0 bis 10,3 % der aktiven Tiles heiß.
Wenn FP4-Fehler auf einem Tile mit 0,5 % der Zeilenmasse der Preis dafür sind, es nicht
in FP16 zu rechnen, ist das ein guter Tausch. Wenn FP4-Fehler auf einem Tile mit 90 %
der Masse der Preis sind, nicht. Der Kernel braucht also einen Test, der die beiden
während der Laufzeit auseinanderhält.
## Der Merge, der es exakt macht
Der Klebstoff ist eine Eigenschaft von [Online-Softmax](/de/blog/online-softmax-and-flashattention/).
FlashAttention führt pro Query-Zeile drei laufende Werte: den maximalen Score `m`, die
Summe der Exponentialwerte `l` und die unnormierte Ausgabe `o`. Zwei solche Zustände,
berechnet über disjunkte Mengen von Keys, lassen sich exakt zusammenführen:
```
M = max(m1, m2)
w1 = exp(m1 - M), w2 = exp(m2 - M)
O = (w1*o1 + w2*o2) / (w1*l1 + w2*l2)
```
APA fährt also zwei Pässe. Pass 1 deckt die kalten Tiles in FP4 ab und liefert einen
Zustand. Pass 2 deckt die heißen Tiles in FP16 ab und liefert den anderen. Ein
Log-Sum-Exp-Merge ergibt die endgültige Ausgabe, ohne zusätzlichen Fehler durch die
Aufteilung selbst. Die einzige Bedingung: Beide Pässe müssen sich einen Logit-Frame
teilen, was weiter unten wichtig wird.
## Pass 1: FP4 überall, mit einem Hot-Test
Die RTX 5090 hat einen blockskalierten FP4-Tensor-Core-Befehl,
`mma.sync kind::mxf4nvf4` (Form m16n8k64). Die Operanden sind E2M1, das nur
`0, ±0.5, ±1, ±1.5, ±2, ±3, ±4, ±6` darstellen kann, plus ein UE4M3-Skalierungsfaktor
pro 16 Werte (max. 448). Das ist [NVFP4](/de/blog/nvfp4-at-the-bit-level/). APA ergänzt
einen FP32-Skalierungsfaktor pro Head, sodass der größte Wert eines Heads auf
6 × 448 = 2688 abgebildet wird.
Keys kommen in Tiles zu 64. Ein CTA aus 12 Warps bearbeitet 192 Query-Zeilen; bei GQA
werden die Zeilen aller Query-Heads, die sich einen KV-Head teilen, zusammengepackt,
sodass jedes KV-Tile für alle einmal geladen wird. Pro Tile und Warp:
Scores in FP4
S = Q·Kᵀ auf den FP4-Tensor-Cores, kausale Maske angewandt.
Wahrscheinlichkeiten in FP4
Jede 16-Key-Gruppe bekommt ihren eigenen Skalierungsfaktor, eingerechnet in den Exponenten-Bias, sodass ex2 direkt das quantisierte P erzeugt.
Zeilensummen aus demselben P
P wird mit einem Tile aus E2M1-Einsen multipliziert. Zähler und Nenner des kalten Ergebnisses tragen dieselbe Quantisierung.
Der Hot-Test
Hat irgendeine der 16 Zeilen des Warps eine Tile-Summe ℓ_t > ε·λ, ist das Tile heiß: ein Bit in der Hot-Maske setzen, das PV-Produkt überspringen.
Kalte Tiles akkumulieren
o += P·V in FP4, die kalte Zeilensumme wächst um ℓ_t.
Der Hot-Test kostet pro Tile ein kleines zusätzliches MMA, das gegen das Einsen-Tile.
Alles andere, was er braucht, rechnet der Pass ohnehin.
**Kalte Urteile sind sicher.** λ ist die laufende Summe über *alle* bisher gesehenen
Tiles, die heißen eingeschlossen. Summen von Exponentialwerten wachsen nur, also liegt
ein Tile, das beim Urteil unter ε der laufenden Summe liegt, auch unter ε der
endgültigen Summe. Ein kaltes Urteil wird später nie zurückgenommen. Ein heißes Urteil
kann zu vorsichtig sein, das kostet Arbeit in Pass 2, keine Genauigkeit. Eine
Einschränkung nennt das Paper selbst: Diese Schranke gilt für die FP4-Schätzung der
Masse. Der wahre FP32-Anteil eines kalten Tiles erreichte bei ε = 0,005 den Wert 0,0118.
**Tile-Reihenfolge.** Früh in der Schleife ist λ klein, wodurch jedes Tile heiß aussieht.
Pass 1 läuft die Keys deshalb nicht von links nach rechts ab. Er besucht zuerst Tile 0
(den Sink), dann die Tiles von der kausalen Diagonale rückwärts. Die Tiles, die meist die
Masse tragen, gehen zuerst in λ ein, und die lange Mitte wird gegen eine fast endgültige
Summe beurteilt.
**Drei FP4-Tricks** halten das kalte Ergebnis brauchbar:
- **Mittelwertzentriertes K.** Den Key-Mittelwert pro Kanal abzuziehen verschiebt jeden
Score einer Zeile um dieselbe Konstante und lässt die Softmax unverändert (von
SageAttention übernommen). Das macht FP4-Wertebereich frei, den ein gemeinsamer
Kanal-Offset fressen würde. Pass 2 zieht dieselbe Konstante von seinen exakten Scores
ab, sodass beide Pässe sich einen Frame teilen.
- **Lazy Maximum.** Das laufende Maximum wird nur aktualisiert, mit einer Reduktion und
einem Rescale, wenn ein Score es um mehr als τ = 4 (in log2-Einheiten) übersteigt. Die
meisten Tiles überspringen den Rescale.
- **Ein 9216-Byte-Blob pro Tile.** Eine Prep-Stufe schreibt K und Vᵀ in E2M1 samt ihren
Skalierungsfaktoren, geswizzled für konfliktfreies `ldmatrix`, sodass eine Bulk-Kopie
ein Tile holt. Pass 1 streamt sie mit `cp.async.bulk` durch einen 6-stufigen
Shared-Memory-Ring.
## Pass 2: exaktes FP16 auf den heißen Tiles
Ein Pass-2-CTA nimmt dieselben 192 Zeilen, sammelt die Vereinigung ihrer heißen Tiles und
streamt sie aus dem originalen FP16-K und -V, flach oder paged. Jeder Warp rechnet nur
seine eigenen heißen Tiles mit `mma.sync.m16n8k16`, macht eine FP32-Online-Softmax und
führt am Ende mit seinem Pass-1-Zustand zusammen.
Beide Pässe laufen in einem persistenten Launch, ein CTA pro SM. CTAs ziehen der Reihe
nach Tickets von einem atomaren Zähler: zuerst Pass-1-Arbeit, dann ganze Query-Blöcke
für Pass 2 von einem zweiten Zähler. Jedes Warten gilt einem früheren Ticket, das ein
bereits laufendes CTA hält, das Schema kann also nicht deadlocken. Pass-2-Arbeit füllt
die SMs, die die letzte Welle von Pass 1 im Leerlauf ließe.
## Der Bug: ein Sink, der den Schwanz ertränkte
APA 0.2.0 funktionierte im Mittel gut. Auf einem Dump zeigte schon eine Stichprobe von
512 Paaren einen Kosinus von -0,444615 gegen die FP32-Referenz. Über alle 49152 Paare
aus (Zeile, Head) lag das Minimum bei **-0,638155**, und 789 Paare zeigten in die falsche
Richtung.
Ein Diagnosemodus zerlegt die Referenzausgabe des schlechtesten Stichprobenpaars
(ε = 0,01) in den Anteil der heißen und der kalten Tiles:
| Größe | Wert |
|---|---:|
| Masse des obersten Tiles (des Sinks) | 0,916 |
| Norm des heißen Teils der Referenz | 0,2527 |
| Norm des kalten Teils der Referenz | 0,3634 |
| Norm der vollen Referenz | 0,1670 |
| Norm der APA-Ausgabe | 0,2531 |
| Kosinus | -0,4446 |
Zwei Zahlen erklären alles. Der kalte Teil, getragen von 8 % der Masse über 1890 Tiles,
hat eine *größere* Norm als die ganze Referenz: Heiß und kalt heben sich fast gegenseitig
auf. Und die Ausgabenorm von APA, 0,2531, entspricht dem heißen Teil allein, 0,2527. Der
kalte Beitrag war weg.
Die Ursache ist der Logit-Frame. Jede FP4-Wahrscheinlichkeit wird relativ zum laufenden
Maximum skaliert. Der Skalenexponent pro Gruppe ist bei -6 geklemmt, damit er ein
normaler UE4M3-Wert bleibt, sodass eine Gruppe, deren Maximum mehr als etwa 2⁻¹⁰ unter
dem Frame liegt, auf E2M1-Null rundet. In 0.2.0 war der Frame das laufende Maximum über
*alle* Tiles. Der Sink kommt zuerst, ist heiß und setzt den Frame. In Zeilen, in denen
die restliche Masse dünn verteilt war, lag jede kalte Gruppe weit genug unter dem Sink,
um zu verschwinden. Der Schwanz, der über die Richtung der Ausgabe entschied, wurde auf
null quantisiert.
**Der Fix ist ein entkoppelter Cold-Frame.** Heiße Tiles brauchen den Frame nicht: Ihr P
dient nur dem Hot-Test, und Pass 2 rechnet sie ohnehin neu. Seit 0.3.0 darf ein heißes
Tile den Frame nur bis `max(m, c - 32)` anheben; λ nimmt die heiße Summe mit einem Faktor
von höchstens 2³² auf, gut innerhalb von FP32. Mit dem Offset auf 0 reproduziert der
Kernel 0.2.0 auf alle sechs ausgegebenen Stellen, was die Änderung isoliert.
| Dump | min cos 0.2.0 | Paare < 0 | min cos 0.3.0 | Zeit 0.2.0 | Zeit 0.3.0 |
|---|---:|---:|---:|---:|---:|
| lc_122880_0 | 0,634875 | 0 | 0,959676 | 4,555 ms | 4,490 ms |
| lc_122880_1 | 0,925502 | 0 | 0,975775 | 4,676 ms | 4,759 ms |
| lc_122880_2 | -0,638155 | 789 | 0,841302 | 4,758 ms | 4,840 ms |
| lc_32768_0 | 0,757021 | 0 | 0,927517 | 2,245 ms | 2,285 ms |
| lc_32768_1 | 0,927160 | 0 | 0,980919 | 1,881 ms | 1,889 ms |
| lc_32768_2 | -0,594803 | 110 | 0,969776 | 1,856 ms | 1,863 ms |
Alle 899 negativen Paare sind weg, das Minimum ist auf jedem Dump gestiegen, die Zeit
liegt im Rauschen zwischen den Läufen. Drei andere Verdächtige wurden unterwegs geprüft
und verworfen: kalte Tiles über ε, Heads mit ungewöhnlicher Kanalstreuung und die
Tile-Reihenfolge (aufsteigende Reihenfolge lässt immer noch 787 Paare unter 0).
Auch die Lehre aus der Stichprobe ist es wert, behalten zu werden: Auf dem schlimmsten
Dump lag das Stichprobenminimum bei -0,444615, das Minimum über alle Paare bei
-0,638155. Eine Stichprobe von 1 % unterschätzt den schlimmsten Fall auf jedem Dump.
## Zweite Jagd: Welcher Operand ist schuld
Nach dem Frame-Fix sahen die schlechtesten Zeilen anders aus: diffuse Zeilen mit 0,2263
bis 0,3973 ihrer Masse, verteilt über 314 bis 454 kalte Tiles. Die FP4-Schätzung des
kalten Anteils stimmte mit FP32 überein, es ging also keine Masse verloren. Etwas anderes
rundete schlecht.
Um herauszufinden, was, emuliert der Host Pass 1 auf den kalten Tiles der 20
schlechtesten Paare mit jeweils einer einzigen Quantisierung:
| Nur dieser Operand in FP4 | Mittlerer Kosinus, lc_65536_0 | lc_122880_2 |
|---|---:|---:|
| Kernel (0.4.0) | 0,809680 | 0,888434 |
| Emulation, alle Quellen | 0,815728 | 0,890648 |
| nur P | 0,996408 | 0,998214 |
| nur V | 0,999817 | 0,999897 |
| nur K | 0,998618 | 0,999879 |
| **nur Q** | **0,823032** | **0,907227** |
| alle, Q als zwei FP4-Terme | 0,998386 | 0,998000 |
Die Emulation reproduziert den Kernel, und Q allein erklärt den Fehler. Der Fix
quantisiert Q zweimal: Q₁ wie bisher, Q₂ das FP4-Residuum Q - Q₁ mit derselben Skala.
Beide Terme akkumulieren in dasselbe Fragment gegen dieselben K-Operanden, für 16
zusätzliche FP4-MMAs pro Tile.
Mit zwei Termen wurde P zur größten Fehlerquelle. Seine Gruppen-Skalierungsfaktoren
wechselten von Zweierpotenzen auf UE4M3, sodass das Gruppenmaximum nahe 6 landet statt
irgendwo in (3, 6]. Bei kurzem Kontext stellte sich K als entscheidend für die
schlechtesten Zeilen heraus, behoben dadurch, dass jeder Block-Skalierungsfaktor aus
einer kleinen Kandidatenmenge nach kleinstem quadratischem Fehler gewählt wird, statt
den nächstgelegenen zu nehmen.
| Zwölf Dumps | 0.4.0 | 0.6.1 |
|---|---:|---:|
| Paare unter Kosinus 0,9 | 137 | 0 |
| Paare unter Kosinus 0,99 | 5196 | 905 |
| Schlechtester Minimum-Kosinus | 0,773144 | 0,984284 |
Das ist nicht gratis. Auf den neun langen Dumps dauert die Attention 6,7 bis 25,4 %
länger: Der zweite Q-Term verdoppelt die QKᵀ-Arbeit von Pass 1, der UE4M3-Skalierungsfaktor
für P kommt mit 5,1 bis 5,2 % dazu.
## Tempo: je länger der Kontext, desto besser
Der Kompromiss wird über ε gesteuert. Ein größeres ε macht weniger Tiles heiß und den
Kernel schneller, auf Kosten der schlechtesten Zeilen:
| lc_122880_2, APA 0.3.0 | Heiß | Mittl. cos | Min cos | Paare < 0,9 | Zeit |
|---|---:|---:|---:|---:|---:|
| alles exakt | 100 % | 0,993600 | 0,834726 | 465 | 12,049 ms |
| ε = 0,001 | 19,0 % | 0,999274 | 0,926464 | 0 | 7,489 ms |
| ε = 0,003 | 9,1 % | 0,998755 | 0,857105 | 11 | 5,871 ms |
| ε = 0,01 | 3,2 % | 0,997936 | 0,834358 | 15 | 4,844 ms |
| ε = 0,02 | 1,7 % | 0,997372 | 0,624999 | 18 | 4,340 ms |
Die erste Zeile ist die Überraschung: Der komplett exakte Lauf ist nicht der genaueste.
Pass 2 akkumuliert seine Ausgabe in FP16 (imps FlashAttention-2-Default), und neben einem
dominanten Sink fällt der Beitrag jedes kleinen Tiles unter ein halbes FP16-ulp des
Akkumulators. Ein FP32-Akkumulator existiert als Option, kostet aber durch Register
Spills bei ε = 0,005 14,5 bis 24,9 % Zeit und ist deshalb per Default aus.
Wie viel APA spart, hängt von der Kontextlänge ab, weil der heiße Anteil mit wachsendem
Kontext schrumpft:
Attention-Zeit, komplett exakt gegen APA (ε = 0,005, APA 0.3.0, lc_122880_1)
alle Tiles exakt (FP16)APA
[diagram omitted — see the page for the chart]
Der heiße Anteil fällt von 36,0 % bei 8192 Keys auf 9,6 % bei 122880, und der Speedup wächst von 1,30x auf 2,50x. Mit dem Quantisierungsschritt von 0,730 ms, den nur APA braucht, liegt das Verhältnis bei 122880 Keys bei 2,196x. Nur der Attention-Kernel, ein Lauf; die Zeiten auf dieser GPU driften zwischen Läufen um bis zu 10 %, darum wird jeder Vergleich innerhalb eines Laufs gezogen.
Die Genauigkeits-Fixes von 0.4.0 bis 0.6.1 kamen nach diesen Messungen und kosten die 6,7
bis 25,4 % aus dem vorigen Abschnitt. Unabhängig davon senkte 0.8.0 Prep plus Attention
auf synthetischen Eingaben um 1,55 bis 14,32 %, indem Pass 2 zwischen KV-Segmenten
eingeplant wird (siehe unten).
## Ende zu Ende in imp
APA ist in [imp](/de/blog/how-imp-works-model-to-token/) hinter dem Config-Key
`attention.apa_eps` integriert. Diese Zahlen wurden im imp-Repository gemessen, mit
APA 0.2.0 und ε = 0,005, Llama-3.2-3B Q8_0, einem Prompt mit 106451 Tokens, gesamter
Prefill:
| Prefill-Modus | FlashAttention-2 | APA | Speedup |
|---|---:|---:|---:|
| Default (Sparse Prefill) | 6661,95 ms | 5241,18 ms | 1,27x |
| dense | 11659,35 ms | 6433,23 ms | 1,81x |
Und die Qualität, als Perplexity (niedriger ist besser) auf einem Korpus von 13k bis 14k
Tokens, APA 0.2.0 (die Zeilen ε = 0,002 und 0,01 von 0.1.0, das 0.2.0 bei ε = 0,005
exakt reproduziert):
| Variante | Llama-3.2-3B | Qwen3-8B |
|---|---:|---:|
| FA2, f16-Akkumulation | 17,3644 | 10,7974 |
| FA2, f32-Akkumulation | 17,3732 | 10,8110 |
| APA ε = 0,002 | 17,3556 | 10,7855 |
| APA ε = 0,005 | 17,3423 | 10,7869 |
| APA ε = 0,01 | 17,3385 | 10,7728 |
Jede APA-Einstellung mit ε > 0 liegt unter beiden FlashAttention-2-Varianten. Die sichere
Lesart ist „kein messbarer Verlust“, nicht „FP4 verbessert das Modell“: Mit APA 0.3.0 und
ε = 0,01 auf einem anderen Korpus steigt die Perplexity leicht, Llama-3.2-3B
18,2760 → 18,2836, Qwen3-8B 10,7522 → 10,7549.
## Was sonst noch drin ist
- **Deterministisch.** Alle Reduktionen laufen in fester Reihenfolge. In 0.1.0 ließen
Float-Atomics 5 Wiederholungen in bis zu 1329742 Ausgabeelementen abweichen; jetzt sind
sie bitweise identisch.
- **KV-Fenster.** Die FP4-Kopie hält das Sink-Tile plus 2 Ring-Slots zu je 96 Tiles pro
KV-Head statt jedes Tiles: 13,6 MiB bei 8 KV-Heads für jeden Kontext, vorher 135,0 MiB
bei 122880 Keys. Die Quantisierung des nächsten Segments läuft innerhalb des Launchs,
während Pass 1 am aktuellen arbeitet, und Pass 2 eines Segments läuft, sobald Pass 1
des nächsten Segments eingeplant ist; die SM-Leerlaufzeit sank von 7,6 auf 1,4 % der
Spanne. Die Ausgaben bleiben bitweise gleich zu einem Pass über alle Tiles.
- **Sliding Window.** Ein 4096-Key-Fenster bei 122880 Keys braucht 0,804 ms gegenüber
6,053 ms kausal.
- **Paged KV und Chunked Prefill.** Pass 2 liest über eine Block-Tabelle; Chunked Prefill
behält die quantisierten Tiles und quantisiert nur neue Keys, mit einem Restat, sobald
der Kontext um 1,125x gewachsen ist.
- **Head Dim 128 und 256**, GQA, Header-only-CUDA-Bibliothek, MPL-2.0.
## Ehrliche Grenzen
- **Masse ist nicht Ausgabe.** Der Hot-Test begrenzt den Anteil jedes kalten Tiles an der
Softmax-Masse, nicht an der Ausgabe. Das schlechteste 0.3.0-Paar hatte 3 heiße Tiles,
0,0794 kalte Masse und eine kalte Ausgabekomponente vom 1,918-Fachen der Referenznorm.
Ein nach Value-Norm gewichteter Test würde solche Zeilen treffen. Das schlechteste Paar
des aktuellen Kernels über zwölf Dumps: Kosinus 0,984284.
- **Granularität.** Das Urteil fällt pro Warp und Tile: Eine von 16 Zeilen macht das Tile
für alle 16 exakt.
- **Umfang.** Nur sm_120a, kausal, FP16-Eingaben. Head Dim 256 ist nur auf synthetischen
Eingaben getestet.
- **Belege.** Die Dumps stammen von einem einzigen Modell, Llama-3.2-3B. Ein direkter
Vergleich mit SageAttention3 auf denselben Eingaben steht noch aus.
Die Schiefe, die APA lohnend macht, ist auch seine größte Gefahr. Weil wenige Tiles
dominieren, reicht exakte Arithmetik auf 6 bis 10 % davon. Weil wenige Tiles dominieren,
kann das dominante den informativen Schwanz aus dem FP4-Bereich drängen. Den Cold-Frame
unabhängig von den heißen Tiles zu halten hat diesen Fehler bei unverändertem Tempo
beseitigt.