GRAIL: Post-hoc Linear-Reconstruction kompensiert Kompression von Deep Networks

GRAIL ist ein neuer Ansatz, der die Genauigkeitsverluste nach aggressiver Kompression von tiefen neuronalen Netzen adressiert.

Der Ansatz nutzt blockweise Kompensation ohne zusätzliche Feinabstimmung. Nach der Kompression wird ein kleiner Kalibrierungsdatensatz verwendet, um die versteckten Aktivierungen mit einer Gram‑Matrix zusammenzufassen. Anschließend wird mittels Ridge‑Regression eine lineare Rekonstruktion der ursprünglichen Repräsentation aus der verkürzten Version erzeugt.

Die resultierende Rekonstruktionskarte wird in die downstream‑Projektionsgewichte integriert, während die upstream‑Schicht komprimiert bleibt. Dadurch wird die ursprüngliche Eingabe‑Ausgabe‑Beziehung jedes Blocks wiederhergestellt.

GRAIL ist selektorunabhängig – es funktioniert mit beliebigen Auswahlmethoden wie Magnitude, Wanda, Gram‑basierter Auswahl oder Folding – und erfordert lediglich wenige Vorwärtsdurchläufe ohne Gradienten oder Labels. Wenn die Gram‑Matrix nahe der Einheitsmatrix liegt, reduziert sich der Ansatz auf klassische Pruning‑ oder Folding‑Methoden.

In praktischen Kompressionsregimen wurden auf ResNet‑, ViT‑ und decoder‑only LLM‑Architekturen signifikante Verbesserungen der Genauigkeit bzw. Perplexität erzielt, verglichen mit datenfreien und datenbewussten Pruning‑ bzw. Folding‑Baselines. Der Overhead bleibt überschaubar und es ist keine Backpropagation nötig.

Der komplette Code ist öffentlich auf GitHub verfügbar unter https://github.com/TWWinde/GRAIL.