FermiGrad und PivGa: Globale Optimierung der LLM-Kompression
Die neuesten Erkenntnisse aus dem arXiv-Preprint 2512.03062v1 zeigen, wie große Sprachmodelle (LLMs) effizienter und ressourcenschonender werden können. Durch die Anwendung von Singular Value Decomposition (SVD) lassen sich die Gewichte von LLMs in niedrigdimensionale Formen zerlegen, was die Modellgröße drastisch reduziert. Das Problem dabei ist jedoch die Auswahl der richtigen Ränge für jede Schicht und die Beseitigung redundanter Parameter.
