VSPrefill: Neue Sparse‑Attention für lange Kontexte – 4,95‑fach schneller

Die quadratische Komplexität der Selbst‑Attention‑Phase behindert die Nutzung von Sprachmodellen mit sehr langen Kontexten. Bestehende Sparse‑Attention‑Ansätze müssen dabei zwischen Kontext‑Anpassungsfähigkeit, zusätzlichem Sampling‑Overhead und Kosten für Feinabstimmungen abwägen.

VSPrefill löst dieses Problem mit einem leichtgewichtigen Trainingsschritt, der das charakteristische „vertical‑slash“-Muster in den Aufmerksamkeitsverteilungen nutzt. Das kompakte VSIndexer‑Modul berechnet aus den Key‑Value‑Repräsentationen – ergänzt durch Rotary Position Encoding – wichtige Scores für vertikale Spalten und schrägen Diagonalen. Auf dieser Basis werden sparsitäre Masken mit linearer Laufzeit erzeugt, ohne die Parameter des Kernmodells zu verändern.

Während der Inferenz steuert eine adaptive Schwellen‑Strategie pro Layer die Sparsitätsbudgets, während ein fusionierter Kernel die Indizes dynamisch zusammenführt. In Tests mit Qwen3‑4B‑Instruct und LLaMA‑3.1‑8B‑Instruct auf den Benchmarks LongBench und RULER erreicht VSPrefill 98,35 % der Voll‑Attention‑Genauigkeit und liefert gleichzeitig einen durchschnittlichen Geschwindigkeitszuwachs von 4,95‑fach bei einer Kontextlänge von 128 k Token. Diese Ergebnisse markieren einen neuen Pareto‑Grenzpunkt im Spannungsfeld zwischen Genauigkeit und Effizienz.