Effiziente Modellkompression: Randomisierte Subspace-Iteration übertrifft RSVD

Die enorme Größe vortrainierter Modelle macht eine effiziente Kompression unverzichtbar. Traditionelle Low‑Rank‑Decompositionen, die auf der Singulärwertzerlegung (SVD) beruhen, bieten einen soliden Ansatz, sind jedoch bei großen Gewichtsmatrizen zu rechenintensiv. Randomisierte Alternativen wie RSVD sind schneller, leiden aber häufig unter schlechter Approximation, wenn die Singulärwertspektren langsam abfallen – ein häufiges Phänomen moderner Modelle.

In der vorliegenden Arbeit wird dieses Problem sowohl theoretisch als auch empirisch angegangen. Zunächst wird die Verbindung zwischen dem Low‑Rank‑Approximation‑Fehler und der Vorhersageleistung hergestellt, indem die Auswirkungen von Softmax‑Störungen analysiert werden. Dabei zeigt sich, dass Abweichungen in den Klassifikationswahrscheinlichkeiten durch den Spektralfehler der komprimierten Gewichte kontrolliert werden.

Daraufhin wird gezeigt, dass RSVD in diesem Regime unzureichend ist, und es wird die randomisierte Subspace‑Iteration (RSI) als leistungsfähigere Alternative vorgeschlagen. Durch mehrere Potenzschritte verbessert RSI die Spektralseparation und ermöglicht eine kontrollierbare Steigerung der Approximationqualität. In umfangreichen Tests an Convolutional‑Netzwerken und Transformer‑Architekturen liefert RSI nahezu optimale Approximationen und übertrifft RSVD in der Vorhersagegenauigkeit, selbst bei aggressiver Kompression.

Die Ergebnisse demonstrieren, dass RSI eine effiziente und zuverlässige Methode zur Modellkompression darstellt, die die praktische Einsatzfähigkeit großer vortrainierter Modelle erheblich verbessert.