FlashOmni: Einheitlicher Sparse-Attention-Engine beschleunigt Diffusion Transformers

Multi‑Modal Diffusion Transformers (DiTs) liefern beeindruckende Ergebnisse in der Bildsynthese, doch ihre enorme Rechenlast limitiert die praktische Nutzung. Viele bisherige Beschleunigungsmethoden setzen auf sparsity‑basierte Optimierungen, erfordern jedoch für jede Sparsity‑Strategie eigene, hochoptimierte Kernels, was die Universalität stark einschränkt.

FlashOmni löst dieses Problem, indem es ein einheitliches Konzept flexibler Sparse‑Symbole einführt. Diese Symbole standardisieren die Darstellung verschiedenster Sparsity‑Strategien – etwa Feature‑Caching oder block‑sparse‑Skipping – und ermöglichen die Ausführung aller damit verbundenen sparsamen Berechnungen innerhalb eines einzigen Attention‑Kernels.

Zusätzlich entwickelt FlashOmni optimierte sparse GEMMs für die Attention‑Blöcke. Durch die Nutzung der Sparse‑Symbole werden redundante Operationen eliminiert, was die Effizienz weiter steigert. In Experimenten erreicht die Engine nahezu lineare Geschwindigkeitssteigerungen, die dem Sparsity‑Verhältnis entsprechen, sowohl bei der Attention als auch bei GEMM‑Q. Für GEMM‑O liegen die Beschleunigungen zwischen 2,5‑ und 3,8‑fach, wobei ein Spitzenwert von etwa 87,5 % der theoretischen Grenze erreicht wird.

In Kombination mit einer Multi‑Granular‑Sparsity‑Strategie ermöglicht FlashOmni dem Hunyuan‑Modell (33 K Parameter) eine End‑zu‑End‑Beschleunigung von rund 1,5‑fach, ohne die visuelle Qualität zu beeinträchtigen. Damit stellt FlashOmni einen bedeutenden Fortschritt für die effiziente Nutzung von Diffusion Transformers dar.