Spectra: Optimierer für LLMs neu gedacht – Anisotrope Spektren im Fokus

In der Ausbildung großer Sprachmodelle (LLMs) zeigen Gradientensignale eine starke Anisotropie: die wiederkehrende sprachliche Struktur konzentriert die Energie in nur wenigen dominanten Spektralrichtungen, während kontextspezifische Informationen in einer langen Schwanzverteilung liegen. Diese Trennung zwischen Spitzen- und Schwanzanteil bleibt während des gesamten Trainings erhalten, wobei die Spitzen nur etwa 1,5 % der Richtungen einnehmen, aber die Optimiererstatistiken dominieren.

Die dominante Spitzenkomponente führt dazu, dass die Lernrate durch die Normalisierung des zweiten Moments stark eingeschränkt wird, wodurch das Lernen im Schwanzbereich unterdrückt wird. Auf Basis dieser Erkenntnisse wurde der Optimierer Spectra entwickelt, der gezielt die dominante Low‑Rank‑Spitzenkomponente unterdrückt, ohne den schwingungsanfälligen Spektral­schwanz zu verstärken. Spectra verfolgt das Spitzen­subspace mithilfe einer gecachten, warm‑gestarteten Potenziteration und wendet eine Low‑Rank‑Spektral­formung an, die nur einen vernachlässigbaren Overhead verursacht und die Speicher­last des Optimierers erheblich reduziert.

In praktischen Tests mit dem LLaMA3‑8B‑Modell auf 50 Billionen Tokens erreicht Spectra das gleiche Ziel‑Verlustniveau 30 % schneller als AdamW, reduziert den End‑zu‑End‑Overhead pro Schritt um 0,7 % und spart 49,25 % Optimierer‑Speicher. Darüber hinaus verbessert es die durchschnittliche Down‑stream‑Genauigkeit um 1,62 %. Im Vergleich zu Muon ist Spectra 5,1‑mal schneller bei der Optimierer‑Verarbeitung, erzielt einen niedrigeren End‑Verlust und steigert die durchschnittliche Genauigkeit um 0,66 %.