AXELRAM: Quantisierung ohne Dequantisierung – Attention-Score-Berechnung

AXELRAM bringt einen echten Durchbruch in der Berechnung von Attention‑Scores: Statt die KV‑Cache‑Indices zu dequantisieren, werden die Scores direkt aus quantisierten Daten berechnet. Das spart Rechenzeit, Speicher und Energie.

Der Schlüssel liegt in einem design‑time festgelegten Codebuch. Durch eine orthogonale Transform‑Quantisierung wird die Verteilung jeder Koordinate auf N(0,1/d) konzentriert. Dadurch hängt der optimale Quantizer ausschließlich von der Dimension d und der Bit‑Breite b ab – unabhängig von den eigentlichen Eingabedaten.

Die Architektur nutzt einen asymmetrischen Pfad: Beim Schreiben wird transformiert, beim Lesen erfolgt ein Tabellen‑Lookup ohne Rücktransformation. Diese Optimierung reduziert die Anzahl der Multiplikationen pro Anfrage um beeindruckende 102,4‑Fach.

Bei einer umfangreichen Multi‑Seed‑Evaluierung (10 Seeds × 3 Modelle) zeigte sich, dass die Sign‑Pattern‑Sensitivität bei manchen Modellen wie Qwen2.5‑3B zu katastrophalen PPL‑Spitzen (Δ > 50) führt, während Modelle wie LLaMA‑3.1‑8B stabil bleiben. Das Problem ist eine Erweiterung der Rotation‑Varianz, die bei SpinQuant bei der Gewichtquantisierung beobachtet wurde, jedoch im KV‑Cache‑Bereich stärker ausgeprägt ist. Die Ursache liegt in der Schicht‑weise Norm‑Heterogenität. AXELRAM löst das mit einer gradients‑freien Sign‑Pattern‑Auswahl (200 Kandidaten, 8 Kalibrierungs‑Samples, einmalig), die die Spitzen eliminiert und keinerlei zusätzlichen Hardware‑Kosten verursacht.

Alle Quellcodes sind frei verfügbar unter https://github.com/Axelidea/AXELRAM.