D^2Prune: LLMs kompakt durch Dual‑Taylor‑Expansion & Aufmerksamkeitsanalyse

Die enorme Rechenlast moderner Sprachmodelle erschwert deren Einsatz in ressourcenbeschränkten Umgebungen. Obwohl das Prunen als vielversprechende Kompressionsmethode gilt, leiden bisherige Verfahren unter zwei gravierenden Schwächen: Sie berücksichtigen weder die Verschiebung der Aktivierungsverteilung zwischen Kalibrierungs‑ und Testdaten noch die langschwänzigen Eigenschaften der Aufmerksamkeitsaktivierungen.

Mit D^2Prune wird diese Lücke geschlossen. Durch eine Dual‑Taylor‑Expansion werden Gewicht- und Aktivierungsstörungen gleichzeitig modelliert, was zu einer hochpräzisen Fehlerabschätzung führt. Auf Basis dieser Schätzung werden die Pruningschablonen exakt ausgewählt und die Gewichte gezielt angepasst, sodass die Fehler während des Prunings minimiert werden.

Ein weiteres Highlight ist die aufmerksamkeitsbasierte, dynamische Aktualisierungsstrategie. Sie bewahrt das langschwänzige Aufmerksamkeitsmuster, indem sie gleichzeitig die KL‑Divergenz der Aufmerksamkeitsverteilungen und den Rekonstruktionsfehler minimiert. Dadurch bleibt die Modellstruktur erhalten, während gleichzeitig die Effizienz gesteigert wird.

Umfangreiche Experimente zeigen, dass D^2Prune die führenden Methoden bei einer Vielzahl von LLMs – darunter OPT‑125M, LLaMA2/3 und Qwen3 – übertrifft. Die dynamische Aufmerksamkeitsaktualisierung lässt sich zudem erfolgreich auf visionäre Modelle wie DeiT übertragen und erzielt dabei eine überlegene Genauigkeit auf ImageNet‑1K.