LLRC: Gradient-basierte Low‑Rank-Kompression ohne Feinabstimmung

In der Forschung zu Sprachmodellen hat die Low‑Rank-Kompression dank neuer Techniken wie aktivitäts- und verlustbewusster SVD große Fortschritte gemacht. Dennoch bleibt die Auswahl der optimalen Ränge für jede Schicht ein zentrales Problem: Heuristische Verfahren liefern oft suboptimale Ergebnisse, während gradientbasierte Ansätze ohne Nachoptimierung nicht die gleiche Leistung erreichen.

Die neue Methode Learning to Low‑Rank Compress (LLRC) löst dieses Problem, indem sie die Gewichte von Masken direkt lernt, die Singularwerte auswählen. Dabei wird ausschließlich ein Kalibrierungsdatensatz verwendet, um die Masken zu trainieren, die immer weniger Singularwerte wählen, während die Divergenz der Zwischenaktivierungen vom Originalmodell minimiert wird. Dadurch entfällt die Notwendigkeit einer nachträglichen Feinabstimmung.

LLRC übertrifft bestehende Rangauswahlverfahren, die ebenfalls ohne Feinabstimmung arbeiten, bei verschiedenen Kompressionsraten auf Aufgaben wie Common‑Sense Reasoning und Open‑Domain Question‑Answering. Bei einer 20‑Prozent‑Kompression des Modells Llama‑2‑13B erzielt LLRC beispielsweise 12 % bessere Ergebnisse als das Sensitivity‑based Truncation Rank Searching (STRS) bei MMLU, 3,5 % bei BoolQ und 4,4 % bei OpenbookQA. Im Vergleich zu anderen Kompressionstechniken liefert LLRC konsistent höhere Leistungen.