COMPOT: Trainingfreie Kompression von Transformers mit Procrustes‑Optimierung

In der Praxis wird die Kompression von Transformer‑Modellen häufig mit einer abgeschnittenen Singulärwertzerlegung (SVD) durchgeführt. Diese Methode erzwingt jedoch einen gemeinsamen Unterraum, was die Genauigkeit bereits bei moderater Kompression beeinträchtigen kann. Sparse‑Dictionary‑Learning bietet eine flexiblere Darstellung als Vereinigung von Unterräumen, leidet aber oft unter iterativen Updates von Wörterbuch und Koeffizienten.

Das neue Verfahren COMPOT (Calibration‑Optimized Matrix Procrustes Orthogonalization for Transformers) löst diese Probleme ohne zusätzliche Trainingsschritte. Durch die Nutzung eines kleinen Kalibrierungsdatensatzes wird eine spärliche Gewichtsfaktorisierung geschätzt. Orthogonale Wörterbücher ermöglichen geschlossene Procrustes‑Updates und eine analytische, ein‑schrittige Sparse‑Coding‑Lösung, wodurch iterative Optimierung entfällt.

Um die unterschiedliche Sensitivität der Schichten unter einem globalen Kompressionsbudget zu berücksichtigen, führt COMPOT eine One‑Shot‑Dynamik‑Allokation ein, die die Kompressionsraten pro Schicht adaptiv neu verteilt. Umfangreiche Experimente an verschiedenen Architekturen und Aufgaben zeigen, dass COMPOT konsequent ein besseres Verhältnis von Qualität zu Kompression liefert als starke Low‑Rank‑ und Sparse‑Baselines und gleichzeitig vollständig mit post‑training‑Quantisierung für extreme Kompression kompatibel ist.

Der Quellcode ist hier verfügbar.