ESACT: Sparsierender Accelerator für Transformer – Ähnlichkeit nutzt Sparsity
Transformers haben sich dank ihrer herausragenden Leistung zu den führenden Modellen in vielen Bereichen entwickelt, doch ihr hoher Rechenaufwand erschwert die effiziente Hardware‑Implementierung. Sparsity bietet hier eine vielversprechende Lösung, wird aber von den meisten bestehenden Beschleunigern nur auf Zeilenebene genutzt. Inter‑Zeilen‑Sparsity wird selten eingesetzt, weil die dafür notwendigen globalen Ähnlichkeitsabschätzungen teuer sind und die Vorteile der Sparsity dadurch stark reduziert werden.
