# APA: schlampige Attention, exakt, wo es zählt > Ein Prefill-Kernel für die RTX 5090, der jedes Attention-Tile in FP4 rechnet, die 6 bis 10 %, die die Softmax-Masse tragen, exakt in FP16 nachrechnet und beides zusammenführt: 2,50x schneller als komplett exakt bei 122880 Keys. Source: https://rfriedmann.de/de/blog/apa-adaptive-precision-attention/ · English: https://rfriedmann.de/blog/apa-adaptive-precision-attention/ Published: 2026-10-28 · Track: log · Level: Expert Lange Prompts sind wegen der Attention teuer. Bei einem Prompt der Länge N wächst die Attention-Arbeit mit N², der Rest des Modells mit N. Bei 122880 Keys brauchen 2048 Query-Zeilen von Llama-3.2-3B auf einer RTX 5090 13,023 ms, wenn jedes Tile exakt gerechnet wird. [APA](https://github.com/kekzl/apa) erledigt dieselbe Arbeit in 5,200 ms. Die Idee passt in einen Satz: Alles billig in FP4 rechnen, die wenigen Tiles finden, in denen der FP4-Fehler tatsächlich in der Ausgabe auftauchen würde, nur diese exakt in FP16 neu rechnen und die beiden Ergebnisse ohne jede Näherung zusammenführen. Dieser Post geht durch, wie das funktioniert, und durch den Bug, der aus einer sauberen Idee einen Kosinus von -0,638 machte, bevor er behoben war. Die vollständige Ausarbeitung mit allen Tabellen ist das [Paper](https://github.com/kekzl/apa/blob/main/paper/apa.pdf). ## Zwei Lager und die Lücke dazwischen Es gibt zwei etablierte Wege, Attention billiger zu machen. | Ansatz | Beispiele | Behält jeden Key | Fehler | |---|---|---|---| | Niedrige Genauigkeit | SageAttention 1 bis 3 | ja | ein wenig auf jedem Score | | Sparse | StreamingLLM, MInference, Quest | nein | keiner auf behaltenen Keys, total auf verworfenen | | APA | | ja | FP4 auf Tiles mit wenig Masse, keiner auf Tiles mit viel Masse | Niedrige Genauigkeit verteilt ihren Fehler gleichmäßig, auch über die Handvoll Keys, die über die Ausgabe entscheiden. Sparsity ist exakt, wo sie hinschaut, und blind, wo nicht. APA behält jeden Key, wie das erste Lager, und gibt Genauigkeit dort aus, wo die Masse liegt, wie das zweite. Die Aufteilung wird nicht vorab geschätzt: Der FP4-Pass entscheidet sie online, aus Zahlen, die er ohnehin rechnet. ## Warum das überhaupt funktionieren kann Beim kausalen Prefill mit langem Kontext ist die Softmax-Masse einer Query-Zeile nicht gleichmäßig verteilt. Einige wenige Key-Tiles tragen fast alles: typischerweise Tile 0, der [Attention Sink](https://arxiv.org/abs/2309.17453), und die Tiles direkt vor der Query auf der kausalen Diagonale. Die lange Mitte trägt eine dünne Schicht Wahrscheinlichkeit, verteilt über Tausende Keys.
Eine Query-Zeile, Tiles aus 64 Keys, Anteil an der Softmax-Masse (schematisch)
[diagram omitted — see the page for the chart]
Tiles über der Schwelle ε (Akzentfarbe) sind heiß und werden in FP16 neu gerechnet. Alles darunter bleibt in FP4. Bei ε = 0,005 und 122880 Keys sind am Ende 6,0 bis 10,3 % der aktiven Tiles heiß.
Wenn FP4-Fehler auf einem Tile mit 0,5 % der Zeilenmasse der Preis dafür sind, es nicht in FP16 zu rechnen, ist das ein guter Tausch. Wenn FP4-Fehler auf einem Tile mit 90 % der Masse der Preis sind, nicht. Der Kernel braucht also einen Test, der die beiden während der Laufzeit auseinanderhält. ## Der Merge, der es exakt macht Der Klebstoff ist eine Eigenschaft von [Online-Softmax](/de/blog/online-softmax-and-flashattention/). FlashAttention führt pro Query-Zeile drei laufende Werte: den maximalen Score `m`, die Summe der Exponentialwerte `l` und die unnormierte Ausgabe `o`. Zwei solche Zustände, berechnet über disjunkte Mengen von Keys, lassen sich exakt zusammenführen: ``` M = max(m1, m2) w1 = exp(m1 - M), w2 = exp(m2 - M) O = (w1*o1 + w2*o2) / (w1*l1 + w2*l2) ``` APA fährt also zwei Pässe. Pass 1 deckt die kalten Tiles in FP4 ab und liefert einen Zustand. Pass 2 deckt die heißen Tiles in FP16 ab und liefert den anderen. Ein Log-Sum-Exp-Merge ergibt die endgültige Ausgabe, ohne zusätzlichen Fehler durch die Aufteilung selbst. Die einzige Bedingung: Beide Pässe müssen sich einen Logit-Frame teilen, was weiter unten wichtig wird. ## Pass 1: FP4 überall, mit einem Hot-Test Die RTX 5090 hat einen blockskalierten FP4-Tensor-Core-Befehl, `mma.sync kind::mxf4nvf4` (Form m16n8k64). Die Operanden sind E2M1, das nur `0, ±0.5, ±1, ±1.5, ±2, ±3, ±4, ±6` darstellen kann, plus ein UE4M3-Skalierungsfaktor pro 16 Werte (max. 448). Das ist [NVFP4](/de/blog/nvfp4-at-the-bit-level/). APA ergänzt einen FP32-Skalierungsfaktor pro Head, sodass der größte Wert eines Heads auf 6 × 448 = 2688 abgebildet wird. Keys kommen in Tiles zu 64. Ein CTA aus 12 Warps bearbeitet 192 Query-Zeilen; bei GQA werden die Zeilen aller Query-Heads, die sich einen KV-Head teilen, zusammengepackt, sodass jedes KV-Tile für alle einmal geladen wird. Pro Tile und Warp:
  1. Scores in FP4

    S = Q·Kᵀ auf den FP4-Tensor-Cores, kausale Maske angewandt.

  2. Wahrscheinlichkeiten in FP4

    Jede 16-Key-Gruppe bekommt ihren eigenen Skalierungsfaktor, eingerechnet in den Exponenten-Bias, sodass ex2 direkt das quantisierte P erzeugt.

  3. Zeilensummen aus demselben P

    P wird mit einem Tile aus E2M1-Einsen multipliziert. Zähler und Nenner des kalten Ergebnisses tragen dieselbe Quantisierung.

  4. Der Hot-Test

    Hat irgendeine der 16 Zeilen des Warps eine Tile-Summe ℓ_t > ε·λ, ist das Tile heiß: ein Bit in der Hot-Maske setzen, das PV-Produkt überspringen.

  5. Kalte Tiles akkumulieren

    o += P·V in FP4, die kalte Zeilensumme wächst um ℓ_t.

Der Hot-Test kostet pro Tile ein kleines zusätzliches MMA, das gegen das Einsen-Tile. Alles andere, was er braucht, rechnet der Pass ohnehin. **Kalte Urteile sind sicher.** λ ist die laufende Summe über *alle* bisher gesehenen Tiles, die heißen eingeschlossen. Summen von Exponentialwerten wachsen nur, also liegt ein Tile, das beim Urteil unter ε der laufenden Summe liegt, auch unter ε der endgültigen Summe. Ein kaltes Urteil wird später nie zurückgenommen. Ein heißes Urteil kann zu vorsichtig sein, das kostet Arbeit in Pass 2, keine Genauigkeit. Eine Einschränkung nennt das Paper selbst: Diese Schranke gilt für die FP4-Schätzung der Masse. Der wahre FP32-Anteil eines kalten Tiles erreichte bei ε = 0,005 den Wert 0,0118. **Tile-Reihenfolge.** Früh in der Schleife ist λ klein, wodurch jedes Tile heiß aussieht. Pass 1 läuft die Keys deshalb nicht von links nach rechts ab. Er besucht zuerst Tile 0 (den Sink), dann die Tiles von der kausalen Diagonale rückwärts. Die Tiles, die meist die Masse tragen, gehen zuerst in λ ein, und die lange Mitte wird gegen eine fast endgültige Summe beurteilt. **Drei FP4-Tricks** halten das kalte Ergebnis brauchbar: - **Mittelwertzentriertes K.** Den Key-Mittelwert pro Kanal abzuziehen verschiebt jeden Score einer Zeile um dieselbe Konstante und lässt die Softmax unverändert (von SageAttention übernommen). Das macht FP4-Wertebereich frei, den ein gemeinsamer Kanal-Offset fressen würde. Pass 2 zieht dieselbe Konstante von seinen exakten Scores ab, sodass beide Pässe sich einen Frame teilen. - **Lazy Maximum.** Das laufende Maximum wird nur aktualisiert, mit einer Reduktion und einem Rescale, wenn ein Score es um mehr als τ = 4 (in log2-Einheiten) übersteigt. Die meisten Tiles überspringen den Rescale. - **Ein 9216-Byte-Blob pro Tile.** Eine Prep-Stufe schreibt K und Vᵀ in E2M1 samt ihren Skalierungsfaktoren, geswizzled für konfliktfreies `ldmatrix`, sodass eine Bulk-Kopie ein Tile holt. Pass 1 streamt sie mit `cp.async.bulk` durch einen 6-stufigen Shared-Memory-Ring. ## Pass 2: exaktes FP16 auf den heißen Tiles Ein Pass-2-CTA nimmt dieselben 192 Zeilen, sammelt die Vereinigung ihrer heißen Tiles und streamt sie aus dem originalen FP16-K und -V, flach oder paged. Jeder Warp rechnet nur seine eigenen heißen Tiles mit `mma.sync.m16n8k16`, macht eine FP32-Online-Softmax und führt am Ende mit seinem Pass-1-Zustand zusammen. Beide Pässe laufen in einem persistenten Launch, ein CTA pro SM. CTAs ziehen der Reihe nach Tickets von einem atomaren Zähler: zuerst Pass-1-Arbeit, dann ganze Query-Blöcke für Pass 2 von einem zweiten Zähler. Jedes Warten gilt einem früheren Ticket, das ein bereits laufendes CTA hält, das Schema kann also nicht deadlocken. Pass-2-Arbeit füllt die SMs, die die letzte Welle von Pass 1 im Leerlauf ließe. ## Der Bug: ein Sink, der den Schwanz ertränkte APA 0.2.0 funktionierte im Mittel gut. Auf einem Dump zeigte schon eine Stichprobe von 512 Paaren einen Kosinus von -0,444615 gegen die FP32-Referenz. Über alle 49152 Paare aus (Zeile, Head) lag das Minimum bei **-0,638155**, und 789 Paare zeigten in die falsche Richtung. Ein Diagnosemodus zerlegt die Referenzausgabe des schlechtesten Stichprobenpaars (ε = 0,01) in den Anteil der heißen und der kalten Tiles: | Größe | Wert | |---|---:| | Masse des obersten Tiles (des Sinks) | 0,916 | | Norm des heißen Teils der Referenz | 0,2527 | | Norm des kalten Teils der Referenz | 0,3634 | | Norm der vollen Referenz | 0,1670 | | Norm der APA-Ausgabe | 0,2531 | | Kosinus | -0,4446 | Zwei Zahlen erklären alles. Der kalte Teil, getragen von 8 % der Masse über 1890 Tiles, hat eine *größere* Norm als die ganze Referenz: Heiß und kalt heben sich fast gegenseitig auf. Und die Ausgabenorm von APA, 0,2531, entspricht dem heißen Teil allein, 0,2527. Der kalte Beitrag war weg. Die Ursache ist der Logit-Frame. Jede FP4-Wahrscheinlichkeit wird relativ zum laufenden Maximum skaliert. Der Skalenexponent pro Gruppe ist bei -6 geklemmt, damit er ein normaler UE4M3-Wert bleibt, sodass eine Gruppe, deren Maximum mehr als etwa 2⁻¹⁰ unter dem Frame liegt, auf E2M1-Null rundet. In 0.2.0 war der Frame das laufende Maximum über *alle* Tiles. Der Sink kommt zuerst, ist heiß und setzt den Frame. In Zeilen, in denen die restliche Masse dünn verteilt war, lag jede kalte Gruppe weit genug unter dem Sink, um zu verschwinden. Der Schwanz, der über die Richtung der Ausgabe entschied, wurde auf null quantisiert. **Der Fix ist ein entkoppelter Cold-Frame.** Heiße Tiles brauchen den Frame nicht: Ihr P dient nur dem Hot-Test, und Pass 2 rechnet sie ohnehin neu. Seit 0.3.0 darf ein heißes Tile den Frame nur bis `max(m, c - 32)` anheben; λ nimmt die heiße Summe mit einem Faktor von höchstens 2³² auf, gut innerhalb von FP32. Mit dem Offset auf 0 reproduziert der Kernel 0.2.0 auf alle sechs ausgegebenen Stellen, was die Änderung isoliert. | Dump | min cos 0.2.0 | Paare < 0 | min cos 0.3.0 | Zeit 0.2.0 | Zeit 0.3.0 | |---|---:|---:|---:|---:|---:| | lc_122880_0 | 0,634875 | 0 | 0,959676 | 4,555 ms | 4,490 ms | | lc_122880_1 | 0,925502 | 0 | 0,975775 | 4,676 ms | 4,759 ms | | lc_122880_2 | -0,638155 | 789 | 0,841302 | 4,758 ms | 4,840 ms | | lc_32768_0 | 0,757021 | 0 | 0,927517 | 2,245 ms | 2,285 ms | | lc_32768_1 | 0,927160 | 0 | 0,980919 | 1,881 ms | 1,889 ms | | lc_32768_2 | -0,594803 | 110 | 0,969776 | 1,856 ms | 1,863 ms | Alle 899 negativen Paare sind weg, das Minimum ist auf jedem Dump gestiegen, die Zeit liegt im Rauschen zwischen den Läufen. Drei andere Verdächtige wurden unterwegs geprüft und verworfen: kalte Tiles über ε, Heads mit ungewöhnlicher Kanalstreuung und die Tile-Reihenfolge (aufsteigende Reihenfolge lässt immer noch 787 Paare unter 0). Auch die Lehre aus der Stichprobe ist es wert, behalten zu werden: Auf dem schlimmsten Dump lag das Stichprobenminimum bei -0,444615, das Minimum über alle Paare bei -0,638155. Eine Stichprobe von 1 % unterschätzt den schlimmsten Fall auf jedem Dump. ## Zweite Jagd: Welcher Operand ist schuld Nach dem Frame-Fix sahen die schlechtesten Zeilen anders aus: diffuse Zeilen mit 0,2263 bis 0,3973 ihrer Masse, verteilt über 314 bis 454 kalte Tiles. Die FP4-Schätzung des kalten Anteils stimmte mit FP32 überein, es ging also keine Masse verloren. Etwas anderes rundete schlecht. Um herauszufinden, was, emuliert der Host Pass 1 auf den kalten Tiles der 20 schlechtesten Paare mit jeweils einer einzigen Quantisierung: | Nur dieser Operand in FP4 | Mittlerer Kosinus, lc_65536_0 | lc_122880_2 | |---|---:|---:| | Kernel (0.4.0) | 0,809680 | 0,888434 | | Emulation, alle Quellen | 0,815728 | 0,890648 | | nur P | 0,996408 | 0,998214 | | nur V | 0,999817 | 0,999897 | | nur K | 0,998618 | 0,999879 | | **nur Q** | **0,823032** | **0,907227** | | alle, Q als zwei FP4-Terme | 0,998386 | 0,998000 | Die Emulation reproduziert den Kernel, und Q allein erklärt den Fehler. Der Fix quantisiert Q zweimal: Q₁ wie bisher, Q₂ das FP4-Residuum Q - Q₁ mit derselben Skala. Beide Terme akkumulieren in dasselbe Fragment gegen dieselben K-Operanden, für 16 zusätzliche FP4-MMAs pro Tile. Mit zwei Termen wurde P zur größten Fehlerquelle. Seine Gruppen-Skalierungsfaktoren wechselten von Zweierpotenzen auf UE4M3, sodass das Gruppenmaximum nahe 6 landet statt irgendwo in (3, 6]. Bei kurzem Kontext stellte sich K als entscheidend für die schlechtesten Zeilen heraus, behoben dadurch, dass jeder Block-Skalierungsfaktor aus einer kleinen Kandidatenmenge nach kleinstem quadratischem Fehler gewählt wird, statt den nächstgelegenen zu nehmen. | Zwölf Dumps | 0.4.0 | 0.6.1 | |---|---:|---:| | Paare unter Kosinus 0,9 | 137 | 0 | | Paare unter Kosinus 0,99 | 5196 | 905 | | Schlechtester Minimum-Kosinus | 0,773144 | 0,984284 | Das ist nicht gratis. Auf den neun langen Dumps dauert die Attention 6,7 bis 25,4 % länger: Der zweite Q-Term verdoppelt die QKᵀ-Arbeit von Pass 1, der UE4M3-Skalierungsfaktor für P kommt mit 5,1 bis 5,2 % dazu. ## Tempo: je länger der Kontext, desto besser Der Kompromiss wird über ε gesteuert. Ein größeres ε macht weniger Tiles heiß und den Kernel schneller, auf Kosten der schlechtesten Zeilen: | lc_122880_2, APA 0.3.0 | Heiß | Mittl. cos | Min cos | Paare < 0,9 | Zeit | |---|---:|---:|---:|---:|---:| | alles exakt | 100 % | 0,993600 | 0,834726 | 465 | 12,049 ms | | ε = 0,001 | 19,0 % | 0,999274 | 0,926464 | 0 | 7,489 ms | | ε = 0,003 | 9,1 % | 0,998755 | 0,857105 | 11 | 5,871 ms | | ε = 0,01 | 3,2 % | 0,997936 | 0,834358 | 15 | 4,844 ms | | ε = 0,02 | 1,7 % | 0,997372 | 0,624999 | 18 | 4,340 ms | Die erste Zeile ist die Überraschung: Der komplett exakte Lauf ist nicht der genaueste. Pass 2 akkumuliert seine Ausgabe in FP16 (imps FlashAttention-2-Default), und neben einem dominanten Sink fällt der Beitrag jedes kleinen Tiles unter ein halbes FP16-ulp des Akkumulators. Ein FP32-Akkumulator existiert als Option, kostet aber durch Register Spills bei ε = 0,005 14,5 bis 24,9 % Zeit und ist deshalb per Default aus. Wie viel APA spart, hängt von der Kontextlänge ab, weil der heiße Anteil mit wachsendem Kontext schrumpft:
Attention-Zeit, komplett exakt gegen APA (ε = 0,005, APA 0.3.0, lc_122880_1)
alle Tiles exakt (FP16)APA
[diagram omitted — see the page for the chart]
Der heiße Anteil fällt von 36,0 % bei 8192 Keys auf 9,6 % bei 122880, und der Speedup wächst von 1,30x auf 2,50x. Mit dem Quantisierungsschritt von 0,730 ms, den nur APA braucht, liegt das Verhältnis bei 122880 Keys bei 2,196x. Nur der Attention-Kernel, ein Lauf; die Zeiten auf dieser GPU driften zwischen Läufen um bis zu 10 %, darum wird jeder Vergleich innerhalb eines Laufs gezogen.
Die Genauigkeits-Fixes von 0.4.0 bis 0.6.1 kamen nach diesen Messungen und kosten die 6,7 bis 25,4 % aus dem vorigen Abschnitt. Unabhängig davon senkte 0.8.0 Prep plus Attention auf synthetischen Eingaben um 1,55 bis 14,32 %, indem Pass 2 zwischen KV-Segmenten eingeplant wird (siehe unten). ## Ende zu Ende in imp APA ist in [imp](/de/blog/how-imp-works-model-to-token/) hinter dem Config-Key `attention.apa_eps` integriert. Diese Zahlen wurden im imp-Repository gemessen, mit APA 0.2.0 und ε = 0,005, Llama-3.2-3B Q8_0, einem Prompt mit 106451 Tokens, gesamter Prefill: | Prefill-Modus | FlashAttention-2 | APA | Speedup | |---|---:|---:|---:| | Default (Sparse Prefill) | 6661,95 ms | 5241,18 ms | 1,27x | | dense | 11659,35 ms | 6433,23 ms | 1,81x | Und die Qualität, als Perplexity (niedriger ist besser) auf einem Korpus von 13k bis 14k Tokens, APA 0.2.0 (die Zeilen ε = 0,002 und 0,01 von 0.1.0, das 0.2.0 bei ε = 0,005 exakt reproduziert): | Variante | Llama-3.2-3B | Qwen3-8B | |---|---:|---:| | FA2, f16-Akkumulation | 17,3644 | 10,7974 | | FA2, f32-Akkumulation | 17,3732 | 10,8110 | | APA ε = 0,002 | 17,3556 | 10,7855 | | APA ε = 0,005 | 17,3423 | 10,7869 | | APA ε = 0,01 | 17,3385 | 10,7728 | Jede APA-Einstellung mit ε > 0 liegt unter beiden FlashAttention-2-Varianten. Die sichere Lesart ist „kein messbarer Verlust“, nicht „FP4 verbessert das Modell“: Mit APA 0.3.0 und ε = 0,01 auf einem anderen Korpus steigt die Perplexity leicht, Llama-3.2-3B 18,2760 → 18,2836, Qwen3-8B 10,7522 → 10,7549. ## Was sonst noch drin ist - **Deterministisch.** Alle Reduktionen laufen in fester Reihenfolge. In 0.1.0 ließen Float-Atomics 5 Wiederholungen in bis zu 1329742 Ausgabeelementen abweichen; jetzt sind sie bitweise identisch. - **KV-Fenster.** Die FP4-Kopie hält das Sink-Tile plus 2 Ring-Slots zu je 96 Tiles pro KV-Head statt jedes Tiles: 13,6 MiB bei 8 KV-Heads für jeden Kontext, vorher 135,0 MiB bei 122880 Keys. Die Quantisierung des nächsten Segments läuft innerhalb des Launchs, während Pass 1 am aktuellen arbeitet, und Pass 2 eines Segments läuft, sobald Pass 1 des nächsten Segments eingeplant ist; die SM-Leerlaufzeit sank von 7,6 auf 1,4 % der Spanne. Die Ausgaben bleiben bitweise gleich zu einem Pass über alle Tiles. - **Sliding Window.** Ein 4096-Key-Fenster bei 122880 Keys braucht 0,804 ms gegenüber 6,053 ms kausal. - **Paged KV und Chunked Prefill.** Pass 2 liest über eine Block-Tabelle; Chunked Prefill behält die quantisierten Tiles und quantisiert nur neue Keys, mit einem Restat, sobald der Kontext um 1,125x gewachsen ist. - **Head Dim 128 und 256**, GQA, Header-only-CUDA-Bibliothek, MPL-2.0. ## Ehrliche Grenzen - **Masse ist nicht Ausgabe.** Der Hot-Test begrenzt den Anteil jedes kalten Tiles an der Softmax-Masse, nicht an der Ausgabe. Das schlechteste 0.3.0-Paar hatte 3 heiße Tiles, 0,0794 kalte Masse und eine kalte Ausgabekomponente vom 1,918-Fachen der Referenznorm. Ein nach Value-Norm gewichteter Test würde solche Zeilen treffen. Das schlechteste Paar des aktuellen Kernels über zwölf Dumps: Kosinus 0,984284. - **Granularität.** Das Urteil fällt pro Warp und Tile: Eine von 16 Zeilen macht das Tile für alle 16 exakt. - **Umfang.** Nur sm_120a, kausal, FP16-Eingaben. Head Dim 256 ist nur auf synthetischen Eingaben getestet. - **Belege.** Die Dumps stammen von einem einzigen Modell, Llama-3.2-3B. Ein direkter Vergleich mit SageAttention3 auf denselben Eingaben steht noch aus. Die Schiefe, die APA lohnend macht, ist auch seine größte Gefahr. Weil wenige Tiles dominieren, reicht exakte Arithmetik auf 6 bis 10 % davon. Weil wenige Tiles dominieren, kann das dominante den informativen Schwanz aus dem FP4-Bereich drängen. Den Cold-Frame unabhängig von den heißen Tiles zu halten hat diesen Fehler bei unverändertem Tempo beseitigt.