LLRC: Gradient-basierte Low‑Rank-Kompression ohne Feinabstimmung
In der Forschung zu Sprachmodellen hat die Low‑Rank-Kompression dank neuer Techniken wie aktivitäts- und verlustbewusster SVD große Fortschritte gemacht. Dennoch bleibt die Auswahl der optimalen Ränge für jede Schicht e…