SLA2: Dynamische Sparse-Linear Attention beschleunigt Video‑Diffusion um 18,6×

Die neueste Variante des Sparse‑Linear Attention (SLA) – SLA2 – verspricht eine deutliche Beschleunigung von Video‑Diffusionsmodellen, ohne die Bildqualität zu beeinträchtigen. Durch die Kombination sparsamer und linearer Aufmerksamkeitsmechanismen erreicht SLA2 eine 97 %ige Sparsity und einen 18,6‑fachen Geschwindigkeitsgewinn.

Im Gegensatz zum Vorgänger, der auf einer heuristischen Aufteilung der Berechnungen basierte, nutzt SLA2 einen lernbaren Router, der in Echtzeit entscheidet, ob eine bestimmte Attention‑Berechnung sparsamer oder linearer ausgeführt werden soll. Diese dynamische Auswahl reduziert ineffiziente Berechnungen und optimiert die Ressourcennutzung.

Ein weiteres Merkmal von SLA2 ist die direkte, lernbare Kombination der sparsamen und linearen Attention‑Zweige. Durch die Einführung eines anpassbaren Verhältnisses zwischen beiden Zweigen wird die ursprüngliche Diskrepanz zwischen SLA und einer direkten Zerlegung in sparse und linear Attention behoben. Zusätzlich wird ein sparsames + low‑bit Attention‑Design implementiert, bei dem Quantisierung‑Aware Fine‑Tuning eingesetzt wird, um Quantisierungsfehler zu minimieren.

Experimentelle Ergebnisse zeigen, dass SLA2 nicht nur die Rechenzeit drastisch reduziert, sondern auch die Qualität der generierten Videos beibehält. Diese Fortschritte markieren einen bedeutenden Schritt in der effizienten Nutzung von Diffusionsmodellen für Video‑Generierung und eröffnen neue Möglichkeiten für Echtzeit‑Anwendungen.