Wie Pruning die Feature‑Geometrie von Sprachmodellen neu gestaltet

Gewichtes Pruning ist seit langem ein Standardverfahren zur Kompression großer Sprachmodelle, doch bislang blieb unklar, wie sich diese Technik auf die intern gelernte Repräsentation auswirkt. In einer ersten systematischen Untersuchung wurde diese Lücke geschlossen, indem Sparse Autoencoders (SAEs) als Interpretationswerkzeug eingesetzt wurden.

Die Studie umfasste drei Modellfamilien – Gemma 3 1 B, Gemma 2 2 B und Llama 3.2 1 B – und testete zwei Pruning‑Methoden, die Magnitude‑Pruning‑Strategie sowie Wanda, über sechs Sättigungsgrade von 0 % bis 60 %. Dabei wurden fünf Forschungsfragen adressiert: Stabilität der Seed‑Auswahl, Überleben von Features, Übertragbarkeit von SAEs, Feature‑Fragilität und kausale Relevanz.

Das auffälligste Ergebnis zeigte, dass seltene SAE‑Features – also solche mit niedriger Aktivierungsrate – weit besser als häufige Features über das Pruning hinweg erhalten bleiben. In 11 von 17 Experimenten erreichten die Spearman‑Korrelationen einen Wert von rho = -1,0. Diese kontraintuitive Beobachtung legt nahe, dass Pruning als implizite Feature‑Selektion wirkt: Es zerstört vorwiegend hochfrequente, generische Features und bewahrt spezialisierte, seltene Features.

Weiterhin wurde festgestellt, dass Wanda‑Pruning die Feature‑Struktur bis zu 3,7‑fach besser erhält als Magnitude‑Pruning. Vortrainierte SAEs bleiben auch bei 50 % Sparsity noch brauchbar für Wanda‑geprünte Modelle. Interessanterweise korreliert das geometrische Überleben von Features nicht mit ihrer kausalen Wichtigkeit – ein Ergebnis, das wichtige Implikationen für die Interpretierbarkeit von komprimierten Modellen hat.