Optimale Low‑Rank‑Schätzung für effizientes LLM‑Training

Das Training großer Sprachmodelle (LLMs) wird häufig durch Speicherengpässe und Rausch‑Stochastische Gradienten in hochdimensionalen Parameter‑Räumen begrenzt. Untersuchungen zeigen, dass viele Gradient‑Matrixen während des Trainings praktisch niedrigrangig sind.

Eine neue Methode liefert einen unverzerrten, speichereffizienten Low‑Rank‑Estimator mit minimaler Varianz, der in allen gängigen Stochastischen‑Gradient‑Paradigmen einsetzbar ist. Der Kernansatz besteht darin, einen hochdimensionalen Gradientenestimator in einen zufälligen, niedrigdimensionalen Unterraum zu projizieren und anschließend zurückzuheben. Dadurch wird Speicherbedarf reduziert, während der Estimator unverzerrt bleibt und die mittlere quadratische Abweichung durch eine optimal gestaltete Projektionsverteilung – unter anderem Haar‑Stiefel‑Projektionen – kontrolliert wird.

Die optimale Projektionsverteilung wird durch die Lösung eines beschränkten funktionalen Optimierungsproblems abgeleitet, was einen optimalen zufälligen Projektor ergibt, der die Algorithmus‑Entwicklung steuert.

Experimentell führen die Low‑Rank‑Gradientestimatoren zu erheblichen Speicherersparnissen und verbessern das Trainingsverhalten. Beim Feintuning von RoBERTa‑Large erreicht die Methode die niedrigste Spitzen‑GPU‑Speicherauslastung (3,83 GB gegenüber 16,7 GB bei vollständigem Back‑Propagation) und bleibt dabei konkurrenzfähig in der Genauigkeit. Im autoregressiven LLM‑Pretraining (LLaMA‑20M/60M/100M) übertrifft die Methode traditionelle Ansätze, was die Vorteile der vorgeschlagenen optimalen Projektionsstrategie unterstreicht.