Neue Hierarchische Sparse‑Plus‑Low‑Rank‑Kompression für große Sprachmodelle

Moderne große Sprachmodelle (LLMs) belasten Speicher und Rechenleistung in einem Ausmaß, das eine gezielte Kompression unverzichtbar macht. Mit der neuen Hierarchical Sparse Plus Low‑Rank (HSS)-Methode wird dieses Problem elegant angegangen: Zunächst werden die Gewichte mit den größten Beträgen in eine spärliche Matrix S extrahiert. Anschließend wird der verbleibende dichte Rest mithilfe einer rekursiven, hierarchisch sparsamen Low‑Rank‑Faktorisierung (HSS) weiter reduziert.

Ein innovativer Ansatz zur Rangreduktion kombiniert mit einer Reverse‑Cuthill‑McKee‑Permutation (RCM) sorgt dafür, dass die wichtigsten Gewichte entlang der Diagonalen ausgerichtet werden. Dadurch wird die Kompressibilität der Off‑Diagonal‑Elemente maximiert, weil diese nur einmal berührt werden. Das Ergebnis ist eine hardwarefreundliche Struktur: Der Matrix‑Vektor‑Multiplikationsschritt lässt sich auf eine einzige sparse‑Multiplikation und eine Folge von dünnen Matrizen­multiplikationen reduzieren, die sich nahtlos in bestehende Optimierer einfügen lassen.

In praktischen Tests mit dem LLaMA‑7B-Modell zeigte sich, dass bereits die Selbst‑Aufmerksamkeit‑Projektionen – 1,6 Mio. Parameter von insgesamt 7 Mio. – ausreichen, um erhebliche Speicherersparnisse zu erzielen, ohne die Leistungsfähigkeit zu beeinträchtigen. Bei einem Sparsity‑Budget von 30 % und einem äußeren Rang von 512 erreichte die Variante sHSS‑RCM eine Perplexität von 1,64, was sowohl dense‑Baselines als auch klassische sparse‑plus‑SVD‑Varianten übertrifft, und gleichzeitig die Speicheranforderungen deutlich senkte.