Transformers schneller: Feature‑Sparse Attention reduziert Rechenaufwand um 2,5×

Die Skalierung von Transformer‑Modellen auf ultra‑lange Kontexte wird bislang durch den quadratischen Rechenaufwand der Selbst‑Aufmerksamkeit, O(n²d), begrenzt. Traditionelle Ansätze senken die Kosten entlang der Sequenzachse – etwa durch lokale Fenster, Kernel‑Approximationen oder token‑basierte Sparsity – und führen dabei häufig zu Genauigkeitsverlusten.

In der neuen Studie wird ein völlig anderer Ansatz verfolgt: Feature‑Sparsity. Das Konzept „Sparse Feature Attention“ (SFA) nutzt k‑sparse Codes für Queries und Keys, die die hochdimensionale Ausdruckskraft beibehalten, aber die Kosten der Aufmerksamkeit auf Θ(n²k²/d) reduzieren. Dadurch bleibt die Modellkomplexität erhalten, während die Rechenlast drastisch sinkt.

Um diese Idee effizient umzusetzen, wurde FlashSFA entwickelt – ein IO‑bewusster Kernel, der FlashAttention erweitert und direkt auf sparse Overlaps arbeitet, ohne dichte Score‑Matrixen zu materialisieren. In Tests mit GPT‑2 und Qwen3 während des Pretrainings erreichte SFA die gleiche Genauigkeit wie dichte Baselines, verbesserte die Geschwindigkeit um bis zu 2,5‑fach und senkte FLOPs sowie KV‑Cache um nahezu 50 %.

Auf synthetischen Daten sowie in realen Down‑stream‑Benchmarks zeigte SFA, dass die Retrieval‑Genauigkeit und die Robustheit bei langen Kontexten erhalten bleiben. Im Vergleich zu Kurz‑Embedding‑Baselines, die die Feature‑Diversität verlieren, übertrifft SFA die Leistung deutlich. Diese Ergebnisse legen nahe, dass Feature‑Level‑Sparsity ein ergänzendes, bislang wenig genutztes Mittel ist, um Transformer‑Modelle auf viel längere Kontexte zu skalieren, ohne die Qualität zu beeinträchtigen. Der zugehörige Code ist unter GitHub verfügbar.