AdaFRUGAL: Automatisiertes, speichereffizientes Training von LLMs

Das neue Verfahren AdaFRUGAL revolutioniert das Training großer Sprachmodelle, indem es die Speicherbelastung drastisch senkt und gleichzeitig die Rechenzeit reduziert. Traditionell erfordert das Training von LLMs enorme Mengen an GPU‑Speicher, weil der Optimierer einen großen Overhead an Zustandsvariablen erzeugt. Das FRUGAL‑Framework löst dieses Problem bereits durch Gradientensplitting, doch seine statischen Hyperparameter – der Subspace‑Ratio ρ und die Update‑Frequency T – müssen manuell abgestimmt werden, was zeitaufwendig und unflexibel ist.

Mit AdaFRUGAL wird dieser Prozess automatisiert. Durch eine lineare Abklingfunktion für ρ wird der Speicherbedarf schrittweise verringert, während ein verlustsensitives Zeitplan‑Schema für T die Rechenlast senkt. In umfangreichen Experimenten auf dem englischen C4‑Corpus, dem vietnamesischen VietVault‑Datensatz und bei der Feinabstimmung auf GLUE zeigte AdaFRUGAL, dass es die Leistung von AdamW und dem statischen FRUGAL‑Modell hält, gleichzeitig aber deutlich weniger GPU‑Speicher beansprucht und die Trainingszeit verkürzt.

Das Ergebnis ist eine praktischere, autonome Lösung für das Training ressourcenbeschränkter LLMs, die sowohl Speicher als auch Zeit spart, ohne die Modellqualität zu beeinträchtigen.