Zero-Order Optimierung für LLM-Fine-Tuning: Lernbare Richtungsabtastung

Das Feintuning großer vortrainierter Sprachmodelle (LLMs) ist ein zentraler Baustein moderner NLP-Anwendungen, doch die damit einhergehenden Speicheranforderungen – insbesondere durch Backpropagation und umfangreiche Optimizer-Zustände – erschweren den Einsatz in ressourcenbeschränkten Umgebungen.

Zero-Order (ZO)-Methoden umgehen die Backpropagation, indem sie Richtungsableitungen aus reinen Vorwärtsevaluierungen schätzen. Diese Technik spart erheblich Speicher, leidet jedoch unter hoher Varianz und einer starken Abhängigkeit von der Parameterdimension d, was ihre Anwendung bislang auf kleine Probleme beschränkt hat.

In der vorliegenden Arbeit wird ein policy‑getriebenes ZO-Framework vorgestellt, das die Verteilung der Störungsrichtungen als lernbare Policy behandelt. Durch gezielte Aktualisierung dieser Verteilung wird die Varianz der Richtungs­schätzungen reduziert.

Der entwickelte Algorithmus kombiniert praktische Implementierung mit einer theoretischen Analyse, die zeigt, dass lernbare Sampling‑Verteilungen die Qualität der Gradienteninformation verbessern und die explizite Abhängigkeit von d in den Konvergenz­schätzungen verringern.

Empirische Tests auf anspruchsvollen LLM‑Fine‑Tuning‑Benchmarks demonstrieren, dass die Methode die Leistung gegenüber Standard‑ZO‑Baselines deutlich steigert. Die Ergebnisse legen nahe, dass adaptive Richtungsabtastung einen vielversprechenden Weg darstellt, Zero‑Order‑Fine‑Tuning skalierbar zu machen.

Der Quellcode ist unter https://github.com/brain-lab-research/zo_ldsd verfügbar.