FermiGrad und PivGa: Globale Optimierung der LLM-Kompression

Die neuesten Erkenntnisse aus dem arXiv-Preprint 2512.03062v1 zeigen, wie große Sprachmodelle (LLMs) effizienter und ressourcenschonender werden können. Durch die Anwendung von Singular Value Decomposition (SVD) lassen sich die Gewichte von LLMs in niedrigdimensionale Formen zerlegen, was die Modellgröße drastisch reduziert. Das Problem dabei ist jedoch die Auswahl der richtigen Ränge für jede Schicht und die Beseitigung redundanter Parameter.

Die Autoren stellen zwei innovative, physikbasierte Ansätze vor, die diese Herausforderungen adressieren. Erstens das Verfahren FermiGrad, ein Gradient-Descent-Algorithmus, der die diskrete Trennung von Singularwerten in ein kontinuierliches Optimierungsproblem überführt. Dabei nutzt er die Fermi-Funktion, um die optimalen Schicht-ränge global zu bestimmen und so die Kompression zu maximieren.

Zweitens die Methode PivGa, die eine verlustfreie Kompression der bereits komprimierten Low‑Rank‑Faktoren ermöglicht. PivGa greift auf die inhärente Gauge‑Freundlichkeit der Parametrisierung zurück und eliminiert weitere redundante Parameter, ohne die Modellleistung zu beeinträchtigen.

Diese beiden Techniken zusammen bieten einen vielversprechenden Weg, LLMs nicht nur kleiner, sondern auch schneller und energieeffizienter zu machen – ein entscheidender Schritt, um die enorme Rechenlast moderner Sprachmodelle zu reduzieren.