Schnelles Feintuning von LLMs: P‑GAP nutzt zeroth‑order Optimierung

In der Welt der großen Sprachmodelle (LLMs) hat sich das Feintuning mit zeroth‑order (ZO) Optimierung als vielversprechende Alternative zu herkömmlichen, gradientenbasierten Verfahren etabliert. Der Hauptvorteil liegt in einem deutlich geringeren Speicherbedarf, was besonders bei ressourcenintensiven Modellen von Bedeutung ist. Doch bisherige ZO‑Methoden leiden unter hoher Varianz bei der Gradientenabschätzung, was zu langsamer Konvergenz und suboptimalen Ergebnissen führt.

Die neue Methode P‑GAP (Projected Gradient‑Aligned Perturbations) löst dieses Problem, indem sie zunächst einen niedrigdimensionalen Gradientenraum schätzt und anschließend Störungen entlang der projizierten Gradientenrichtung innerhalb dieses Raums ausrichtet. Dadurch werden weniger Parameter perturbiert und die Varianz reduziert, was die Konvergenzgeschwindigkeit erheblich beschleunigt.

Experimentelle Tests an verschiedenen LLM‑Architekturen zeigen, dass P‑GAP die bestehenden Baselines konsequent übertrifft. Auf Klassifikationsaufgaben steigt die Genauigkeit um bis zu 6 % und bei Generierungsaufgaben um bis zu 12 %. Gleichzeitig reduziert sich die benötigte Anzahl an Trainingsschritten um rund 81 % und der GPU‑Zeitaufwand um etwa 70 %. Diese Ergebnisse demonstrieren, dass P‑GAP ein schneller, skalierbarer und ressourcenschonender Ansatz für das Feintuning von LLMs darstellt.