Raphael Friedmann
← Das Log

APA: schlampige Attention, exakt, wo es zählt

Ein Prefill-Kernel für die RTX 5090, der jedes Attention-Tile in FP4 rechnet, die 6 bis 10 %, die die Softmax-Masse tragen, exakt in FP16 nachrechnet und beides zusammenführt: 2,50x schneller als komplett exakt bei 122880 Keys.

Lange Prompts sind wegen der Attention teuer. Bei einem Prompt der Länge N wächst die Attention-Arbeit mit N², der Rest des Modells mit N. Bei 122880 Keys brauchen 2048 Query-Zeilen von Llama-3.2-3B auf einer RTX 5090 13,023 ms, wenn jedes Tile exakt gerechnet wird. APA erledigt dieselbe Arbeit in 5,200 ms.

Die Idee passt in einen Satz: Alles billig in FP4 rechnen, die wenigen Tiles finden, in denen der FP4-Fehler tatsächlich in der Ausgabe auftauchen würde, nur diese exakt in FP16 neu rechnen und die beiden Ergebnisse ohne jede Näherung zusammenführen. Dieser Post geht durch, wie das funktioniert, und durch den Bug, der aus einer sauberen Idee einen Kosinus von -0,638 machte, bevor er behoben war. Die vollständige Ausarbeitung mit allen Tabellen ist das Paper.

Zwei Lager und die Lücke dazwischen#

Es gibt zwei etablierte Wege, Attention billiger zu machen.

Ansatz Beispiele Behält jeden Key Fehler
Niedrige Genauigkeit SageAttention 1 bis 3 ja ein wenig auf jedem Score
Sparse StreamingLLM, MInference, Quest nein keiner auf behaltenen Keys, total auf verworfenen
APA ja FP4 auf Tiles mit wenig Masse, keiner auf Tiles mit viel Masse

Niedrige Genauigkeit verteilt ihren Fehler gleichmäßig, auch über die Handvoll Keys, die über die Ausgabe entscheiden. Sparsity ist exakt, wo sie hinschaut, und blind, wo nicht. APA behält jeden Key, wie das erste Lager, und gibt Genauigkeit dort aus, wo die Masse liegt, wie das zweite. Die Aufteilung wird nicht vorab geschätzt: Der FP4-Pass entscheidet sie online, aus Zahlen, die er ohnehin rechnet.

Warum das überhaupt funktionieren kann#

Beim kausalen Prefill mit langem Kontext ist die Softmax-Masse einer Query-Zeile nicht gleichmäßig verteilt. Einige wenige Key-Tiles tragen fast alles: typischerweise Tile 0, der Attention Sink, und die Tiles direkt vor der Query auf der kausalen Diagonale. Die lange Mitte trägt eine dünne Schicht Wahrscheinlichkeit, verteilt über Tausende Keys.

Eine Query-Zeile, Tiles aus 64 Keys, Anteil an der Softmax-Masse (schematisch)
εTile 0: der Attention Sinkkausale Diagonale (neue Keys)Tausende Tiles mit je einem dünnen Anteil0tKey-Tile, von alt nach neu
Tiles über der Schwelle ε (Akzentfarbe) sind heiß und werden in FP16 neu gerechnet. Alles darunter bleibt in FP4. Bei ε = 0,005 und 122880 Keys sind am Ende 6,0 bis 10,3 % der aktiven Tiles heiß.

Wenn FP4-Fehler auf einem Tile mit 0,5 % der Zeilenmasse der Preis dafür sind, es nicht in FP16 zu rechnen, ist das ein guter Tausch. Wenn FP4-Fehler auf einem Tile mit 90 % der Masse der Preis sind, nicht. Der Kernel braucht also einen Test, der die beiden während der Laufzeit auseinanderhält.

Der Merge, der es exakt macht#

Der Klebstoff ist eine Eigenschaft von Online-Softmax. FlashAttention führt pro Query-Zeile drei laufende Werte: den maximalen Score m, die Summe der Exponentialwerte l und die unnormierte Ausgabe o. Zwei solche Zustände, berechnet über disjunkte Mengen von Keys, lassen sich exakt zusammenführen:

M = max(m1, m2)
w1 = exp(m1 - M),  w2 = exp(m2 - M)
O = (w1*o1 + w2*o2) / (w1*l1 + w2*l2)

APA fährt also zwei Pässe. Pass 1 deckt die kalten Tiles in FP4 ab und liefert einen Zustand. Pass 2 deckt die heißen Tiles in FP16 ab und liefert den anderen. Ein Log-Sum-Exp-Merge ergibt die endgültige Ausgabe, ohne zusätzlichen Fehler durch die Aufteilung selbst. Die einzige Bedingung: Beide Pässe müssen sich einen Logit-Frame teilen, was weiter unten wichtig wird.

Pass 1: FP4 überall, mit einem Hot-Test#

Die RTX 5090 hat einen blockskalierten FP4-Tensor-Core-Befehl, mma.sync kind::mxf4nvf4 (Form m16n8k64). Die Operanden sind E2M1, das nur 0, ±0.5, ±1, ±1.5, ±2, ±3, ±4, ±6 darstellen kann, plus ein UE4M3-Skalierungsfaktor pro 16 Werte (max. 448). Das ist NVFP4. APA ergänzt einen FP32-Skalierungsfaktor pro Head, sodass der größte Wert eines Heads auf 6 × 448 = 2688 abgebildet wird.

Keys kommen in Tiles zu 64. Ein CTA aus 12 Warps bearbeitet 192 Query-Zeilen; bei GQA werden die Zeilen aller Query-Heads, die sich einen KV-Head teilen, zusammengepackt, sodass jedes KV-Tile für alle einmal geladen wird. Pro Tile und Warp:

  1. Scores in FP4

    S = Q·Kᵀ auf den FP4-Tensor-Cores, kausale Maske angewandt.

  2. Wahrscheinlichkeiten in FP4

    Jede 16-Key-Gruppe bekommt ihren eigenen Skalierungsfaktor, eingerechnet in den Exponenten-Bias, sodass ex2 direkt das quantisierte P erzeugt.

  3. Zeilensummen aus demselben P

    P wird mit einem Tile aus E2M1-Einsen multipliziert. Zähler und Nenner des kalten Ergebnisses tragen dieselbe Quantisierung.

  4. Der Hot-Test

    Hat irgendeine der 16 Zeilen des Warps eine Tile-Summe ℓ_t > ε·λ, ist das Tile heiß: ein Bit in der Hot-Maske setzen, das PV-Produkt überspringen.

  5. Kalte Tiles akkumulieren

    o += P·V in FP4, die kalte Zeilensumme wächst um ℓ_t.

Der Hot-Test kostet pro Tile ein kleines zusätzliches MMA, das gegen das Einsen-Tile. Alles andere, was er braucht, rechnet der Pass ohnehin.

Kalte Urteile sind sicher. λ ist die laufende Summe über alle bisher gesehenen Tiles, die heißen eingeschlossen. Summen von Exponentialwerten wachsen nur, also liegt ein Tile, das beim Urteil unter ε der laufenden Summe liegt, auch unter ε der endgültigen Summe. Ein kaltes Urteil wird später nie zurückgenommen. Ein heißes Urteil kann zu vorsichtig sein, das kostet Arbeit in Pass 2, keine Genauigkeit. Eine Einschränkung nennt das Paper selbst: Diese Schranke gilt für die FP4-Schätzung der Masse. Der wahre FP32-Anteil eines kalten Tiles erreichte bei ε = 0,005 den Wert 0,0118.

Tile-Reihenfolge. Früh in der Schleife ist λ klein, wodurch jedes Tile heiß aussieht. Pass 1 läuft die Keys deshalb nicht von links nach rechts ab. Er besucht zuerst Tile 0 (den Sink), dann die Tiles von der kausalen Diagonale rückwärts. Die Tiles, die meist die Masse tragen, gehen zuerst in λ ein, und die lange Mitte wird gegen eine fast endgültige Summe beurteilt.

Drei FP4-Tricks halten das kalte Ergebnis brauchbar:

  • Mittelwertzentriertes K. Den Key-Mittelwert pro Kanal abzuziehen verschiebt jeden Score einer Zeile um dieselbe Konstante und lässt die Softmax unverändert (von SageAttention übernommen). Das macht FP4-Wertebereich frei, den ein gemeinsamer Kanal-Offset fressen würde. Pass 2 zieht dieselbe Konstante von seinen exakten Scores ab, sodass beide Pässe sich einen Frame teilen.
  • Lazy Maximum. Das laufende Maximum wird nur aktualisiert, mit einer Reduktion und einem Rescale, wenn ein Score es um mehr als τ = 4 (in log2-Einheiten) übersteigt. Die meisten Tiles überspringen den Rescale.
  • Ein 9216-Byte-Blob pro Tile. Eine Prep-Stufe schreibt K und Vᵀ in E2M1 samt ihren Skalierungsfaktoren, geswizzled für konfliktfreies ldmatrix, sodass eine Bulk-Kopie ein Tile holt. Pass 1 streamt sie mit cp.async.bulk durch einen 6-stufigen Shared-Memory-Ring.

Pass 2: exaktes FP16 auf den heißen Tiles#

Ein Pass-2-CTA nimmt dieselben 192 Zeilen, sammelt die Vereinigung ihrer heißen Tiles und streamt sie aus dem originalen FP16-K und -V, flach oder paged. Jeder Warp rechnet nur seine eigenen heißen Tiles mit mma.sync.m16n8k16, macht eine FP32-Online-Softmax und führt am Ende mit seinem Pass-1-Zustand zusammen.

Beide Pässe laufen in einem persistenten Launch, ein CTA pro SM. CTAs ziehen der Reihe nach Tickets von einem atomaren Zähler: zuerst Pass-1-Arbeit, dann ganze Query-Blöcke für Pass 2 von einem zweiten Zähler. Jedes Warten gilt einem früheren Ticket, das ein bereits laufendes CTA hält, das Schema kann also nicht deadlocken. Pass-2-Arbeit füllt die SMs, die die letzte Welle von Pass 1 im Leerlauf ließe.

Der Bug: ein Sink, der den Schwanz ertränkte#

APA 0.2.0 funktionierte im Mittel gut. Auf einem Dump zeigte schon eine Stichprobe von 512 Paaren einen Kosinus von -0,444615 gegen die FP32-Referenz. Über alle 49152 Paare aus (Zeile, Head) lag das Minimum bei -0,638155, und 789 Paare zeigten in die falsche Richtung.

Ein Diagnosemodus zerlegt die Referenzausgabe des schlechtesten Stichprobenpaars (ε = 0,01) in den Anteil der heißen und der kalten Tiles:

Größe Wert
Masse des obersten Tiles (des Sinks) 0,916
Norm des heißen Teils der Referenz 0,2527
Norm des kalten Teils der Referenz 0,3634
Norm der vollen Referenz 0,1670
Norm der APA-Ausgabe 0,2531
Kosinus -0,4446

Zwei Zahlen erklären alles. Der kalte Teil, getragen von 8 % der Masse über 1890 Tiles, hat eine größere Norm als die ganze Referenz: Heiß und kalt heben sich fast gegenseitig auf. Und die Ausgabenorm von APA, 0,2531, entspricht dem heißen Teil allein, 0,2527. Der kalte Beitrag war weg.

Die Ursache ist der Logit-Frame. Jede FP4-Wahrscheinlichkeit wird relativ zum laufenden Maximum skaliert. Der Skalenexponent pro Gruppe ist bei -6 geklemmt, damit er ein normaler UE4M3-Wert bleibt, sodass eine Gruppe, deren Maximum mehr als etwa 2⁻¹⁰ unter dem Frame liegt, auf E2M1-Null rundet. In 0.2.0 war der Frame das laufende Maximum über alle Tiles. Der Sink kommt zuerst, ist heiß und setzt den Frame. In Zeilen, in denen die restliche Masse dünn verteilt war, lag jede kalte Gruppe weit genug unter dem Sink, um zu verschwinden. Der Schwanz, der über die Richtung der Ausgabe entschied, wurde auf null quantisiert.

Der Fix ist ein entkoppelter Cold-Frame. Heiße Tiles brauchen den Frame nicht: Ihr P dient nur dem Hot-Test, und Pass 2 rechnet sie ohnehin neu. Seit 0.3.0 darf ein heißes Tile den Frame nur bis max(m, c - 32) anheben; λ nimmt die heiße Summe mit einem Faktor von höchstens 2³² auf, gut innerhalb von FP32. Mit dem Offset auf 0 reproduziert der Kernel 0.2.0 auf alle sechs ausgegebenen Stellen, was die Änderung isoliert.

Dump min cos 0.2.0 Paare < 0 min cos 0.3.0 Zeit 0.2.0 Zeit 0.3.0
lc_122880_0 0,634875 0 0,959676 4,555 ms 4,490 ms
lc_122880_1 0,925502 0 0,975775 4,676 ms 4,759 ms
lc_122880_2 -0,638155 789 0,841302 4,758 ms 4,840 ms
lc_32768_0 0,757021 0 0,927517 2,245 ms 2,285 ms
lc_32768_1 0,927160 0 0,980919 1,881 ms 1,889 ms
lc_32768_2 -0,594803 110 0,969776 1,856 ms 1,863 ms

Alle 899 negativen Paare sind weg, das Minimum ist auf jedem Dump gestiegen, die Zeit liegt im Rauschen zwischen den Läufen. Drei andere Verdächtige wurden unterwegs geprüft und verworfen: kalte Tiles über ε, Heads mit ungewöhnlicher Kanalstreuung und die Tile-Reihenfolge (aufsteigende Reihenfolge lässt immer noch 787 Paare unter 0).

Auch die Lehre aus der Stichprobe ist es wert, behalten zu werden: Auf dem schlimmsten Dump lag das Stichprobenminimum bei -0,444615, das Minimum über alle Paare bei -0,638155. Eine Stichprobe von 1 % unterschätzt den schlimmsten Fall auf jedem Dump.

Zweite Jagd: Welcher Operand ist schuld#

Nach dem Frame-Fix sahen die schlechtesten Zeilen anders aus: diffuse Zeilen mit 0,2263 bis 0,3973 ihrer Masse, verteilt über 314 bis 454 kalte Tiles. Die FP4-Schätzung des kalten Anteils stimmte mit FP32 überein, es ging also keine Masse verloren. Etwas anderes rundete schlecht.

Um herauszufinden, was, emuliert der Host Pass 1 auf den kalten Tiles der 20 schlechtesten Paare mit jeweils einer einzigen Quantisierung:

Nur dieser Operand in FP4 Mittlerer Kosinus, lc_65536_0 lc_122880_2
Kernel (0.4.0) 0,809680 0,888434
Emulation, alle Quellen 0,815728 0,890648
nur P 0,996408 0,998214
nur V 0,999817 0,999897
nur K 0,998618 0,999879
nur Q 0,823032 0,907227
alle, Q als zwei FP4-Terme 0,998386 0,998000

Die Emulation reproduziert den Kernel, und Q allein erklärt den Fehler. Der Fix quantisiert Q zweimal: Q₁ wie bisher, Q₂ das FP4-Residuum Q - Q₁ mit derselben Skala. Beide Terme akkumulieren in dasselbe Fragment gegen dieselben K-Operanden, für 16 zusätzliche FP4-MMAs pro Tile.

Mit zwei Termen wurde P zur größten Fehlerquelle. Seine Gruppen-Skalierungsfaktoren wechselten von Zweierpotenzen auf UE4M3, sodass das Gruppenmaximum nahe 6 landet statt irgendwo in (3, 6]. Bei kurzem Kontext stellte sich K als entscheidend für die schlechtesten Zeilen heraus, behoben dadurch, dass jeder Block-Skalierungsfaktor aus einer kleinen Kandidatenmenge nach kleinstem quadratischem Fehler gewählt wird, statt den nächstgelegenen zu nehmen.

Zwölf Dumps 0.4.0 0.6.1
Paare unter Kosinus 0,9 137 0
Paare unter Kosinus 0,99 5196 905
Schlechtester Minimum-Kosinus 0,773144 0,984284

Das ist nicht gratis. Auf den neun langen Dumps dauert die Attention 6,7 bis 25,4 % länger: Der zweite Q-Term verdoppelt die QKᵀ-Arbeit von Pass 1, der UE4M3-Skalierungsfaktor für P kommt mit 5,1 bis 5,2 % dazu.

Tempo: je länger der Kontext, desto besser#

Der Kompromiss wird über ε gesteuert. Ein größeres ε macht weniger Tiles heiß und den Kernel schneller, auf Kosten der schlechtesten Zeilen:

lc_122880_2, APA 0.3.0 Heiß Mittl. cos Min cos Paare < 0,9 Zeit
alles exakt 100 % 0,993600 0,834726 465 12,049 ms
ε = 0,001 19,0 % 0,999274 0,926464 0 7,489 ms
ε = 0,003 9,1 % 0,998755 0,857105 11 5,871 ms
ε = 0,01 3,2 % 0,997936 0,834358 15 4,844 ms
ε = 0,02 1,7 % 0,997372 0,624999 18 4,340 ms

Die erste Zeile ist die Überraschung: Der komplett exakte Lauf ist nicht der genaueste. Pass 2 akkumuliert seine Ausgabe in FP16 (imps FlashAttention-2-Default), und neben einem dominanten Sink fällt der Beitrag jedes kleinen Tiles unter ein halbes FP16-ulp des Akkumulators. Ein FP32-Akkumulator existiert als Option, kostet aber durch Register Spills bei ε = 0,005 14,5 bis 24,9 % Zeit und ist deshalb per Default aus.

Wie viel APA spart, hängt von der Kontextlänge ab, weil der heiße Anteil mit wachsendem Kontext schrumpft:

Attention-Zeit, komplett exakt gegen APA (ε = 0,005, APA 0.3.0, lc_122880_1)
alle Tiles exakt (FP16)APA
8192 Keys0,764 ms0,589 ms1,30×163841,557 ms1,114 ms1,40×327683,237 ms2,025 ms1,60×655366,771 ms3,594 ms1,88×12288013,023 ms5,200 ms2,50×
Der heiße Anteil fällt von 36,0 % bei 8192 Keys auf 9,6 % bei 122880, und der Speedup wächst von 1,30x auf 2,50x. Mit dem Quantisierungsschritt von 0,730 ms, den nur APA braucht, liegt das Verhältnis bei 122880 Keys bei 2,196x. Nur der Attention-Kernel, ein Lauf; die Zeiten auf dieser GPU driften zwischen Läufen um bis zu 10 %, darum wird jeder Vergleich innerhalb eines Laufs gezogen.

Die Genauigkeits-Fixes von 0.4.0 bis 0.6.1 kamen nach diesen Messungen und kosten die 6,7 bis 25,4 % aus dem vorigen Abschnitt. Unabhängig davon senkte 0.8.0 Prep plus Attention auf synthetischen Eingaben um 1,55 bis 14,32 %, indem Pass 2 zwischen KV-Segmenten eingeplant wird (siehe unten).

Ende zu Ende in imp#

APA ist in imp hinter dem Config-Key attention.apa_eps integriert. Diese Zahlen wurden im imp-Repository gemessen, mit APA 0.2.0 und ε = 0,005, Llama-3.2-3B Q8_0, einem Prompt mit 106451 Tokens, gesamter Prefill:

Prefill-Modus FlashAttention-2 APA Speedup
Default (Sparse Prefill) 6661,95 ms 5241,18 ms 1,27x
dense 11659,35 ms 6433,23 ms 1,81x

Und die Qualität, als Perplexity (niedriger ist besser) auf einem Korpus von 13k bis 14k Tokens, APA 0.2.0 (die Zeilen ε = 0,002 und 0,01 von 0.1.0, das 0.2.0 bei ε = 0,005 exakt reproduziert):

Variante Llama-3.2-3B Qwen3-8B
FA2, f16-Akkumulation 17,3644 10,7974
FA2, f32-Akkumulation 17,3732 10,8110
APA ε = 0,002 17,3556 10,7855
APA ε = 0,005 17,3423 10,7869
APA ε = 0,01 17,3385 10,7728

Jede APA-Einstellung mit ε > 0 liegt unter beiden FlashAttention-2-Varianten. Die sichere Lesart ist „kein messbarer Verlust“, nicht „FP4 verbessert das Modell“: Mit APA 0.3.0 und ε = 0,01 auf einem anderen Korpus steigt die Perplexity leicht, Llama-3.2-3B 18,2760 → 18,2836, Qwen3-8B 10,7522 → 10,7549.

Was sonst noch drin ist#

  • Deterministisch. Alle Reduktionen laufen in fester Reihenfolge. In 0.1.0 ließen Float-Atomics 5 Wiederholungen in bis zu 1329742 Ausgabeelementen abweichen; jetzt sind sie bitweise identisch.
  • KV-Fenster. Die FP4-Kopie hält das Sink-Tile plus 2 Ring-Slots zu je 96 Tiles pro KV-Head statt jedes Tiles: 13,6 MiB bei 8 KV-Heads für jeden Kontext, vorher 135,0 MiB bei 122880 Keys. Die Quantisierung des nächsten Segments läuft innerhalb des Launchs, während Pass 1 am aktuellen arbeitet, und Pass 2 eines Segments läuft, sobald Pass 1 des nächsten Segments eingeplant ist; die SM-Leerlaufzeit sank von 7,6 auf 1,4 % der Spanne. Die Ausgaben bleiben bitweise gleich zu einem Pass über alle Tiles.
  • Sliding Window. Ein 4096-Key-Fenster bei 122880 Keys braucht 0,804 ms gegenüber 6,053 ms kausal.
  • Paged KV und Chunked Prefill. Pass 2 liest über eine Block-Tabelle; Chunked Prefill behält die quantisierten Tiles und quantisiert nur neue Keys, mit einem Restat, sobald der Kontext um 1,125x gewachsen ist.
  • Head Dim 128 und 256, GQA, Header-only-CUDA-Bibliothek, MPL-2.0.

Ehrliche Grenzen#

  • Masse ist nicht Ausgabe. Der Hot-Test begrenzt den Anteil jedes kalten Tiles an der Softmax-Masse, nicht an der Ausgabe. Das schlechteste 0.3.0-Paar hatte 3 heiße Tiles, 0,0794 kalte Masse und eine kalte Ausgabekomponente vom 1,918-Fachen der Referenznorm. Ein nach Value-Norm gewichteter Test würde solche Zeilen treffen. Das schlechteste Paar des aktuellen Kernels über zwölf Dumps: Kosinus 0,984284.
  • Granularität. Das Urteil fällt pro Warp und Tile: Eine von 16 Zeilen macht das Tile für alle 16 exakt.
  • Umfang. Nur sm_120a, kausal, FP16-Eingaben. Head Dim 256 ist nur auf synthetischen Eingaben getestet.
  • Belege. Die Dumps stammen von einem einzigen Modell, Llama-3.2-3B. Ein direkter Vergleich mit SageAttention3 auf denselben Eingaben steht noch aus.

Die Schiefe, die APA lohnend macht, ist auch seine größte Gefahr. Weil wenige Tiles dominieren, reicht exakte Arithmetik auf 6 bis 10 % davon. Weil wenige Tiles dominieren, kann das dominante den informativen Schwanz aus dem FP4-Bereich drängen. Den Cold-Frame unabhängig von den heißen Tiles zu halten hat diesen Fehler bei unverändertem Tempo beseitigt.