ESACT: Sparsierender Accelerator für Transformer – Ähnlichkeit nutzt Sparsity

Transformers haben sich dank ihrer herausragenden Leistung zu den führenden Modellen in vielen Bereichen entwickelt, doch ihr hoher Rechenaufwand erschwert die effiziente Hardware‑Implementierung. Sparsity bietet hier eine vielversprechende Lösung, wird aber von den meisten bestehenden Beschleunigern nur auf Zeilenebene genutzt. Inter‑Zeilen‑Sparsity wird selten eingesetzt, weil die dafür notwendigen globalen Ähnlichkeitsabschätzungen teuer sind und die Vorteile der Sparsity dadurch stark reduziert werden.

Der neue Ansatz ESACT (End‑to‑End Sparse Accelerator for Compute‑Intensive Transformers) nutzt stattdessen lokale Ähnlichkeit, um sparsere Berechnungen mit geringem Overhead zu ermöglichen. Im Kern steht das SPLS‑Modul (Sparsity Prediction with Local Similarity), das mithilfe von HLog‑Quantisierung die lokale Sparsity der Attention‑Matrix bereits vor der QK‑Generierung vorhersagt. Dadurch kann die Sparsity gleichmäßig auf alle Komponenten des Transformers – von QKV‑Erzeugung über Attention‑Berechnung bis hin zu FFNs – angewendet werden.

Zur effizienten Hardware‑Umsetzung wurden drei architektonische Innovationen eingeführt. In umfangreichen Tests auf 26 Benchmarks konnte SPLS die Gesamtberechnung um 52,03 % reduzieren, während die Genauigkeit weniger als 1 % verlor. ESACT erreicht eine End‑to‑End‑Energieeffizienz von 3,29 TOPS/W und verbessert die Attention‑Level‑Effizienz um 2,95‑fach bzw. 2,26‑fach gegenüber den aktuellen Spitzenanbietern.