AGZO: Aktivitätsgesteuerte Zeroth-Order-Optimierung verbessert LLM-Fine‑Tuning
Die neue Methode AGZO (Activation‑Guided Zeroth‑Order) bietet eine elegante Lösung für das Feintuning großer Sprachmodelle unter extremen Speicherbeschränkungen. Während klassische Zeroth‑Order‑Optimierungen (ZO) mit isotropen Störungen arbeiten und damit die Speicherkosten für Aktivierungen umgehen, nutzt AGZO die bereits im Forward‑Pass vorhandene Aktivitätsstruktur, um effizientere Updates zu generieren.
Der Kern der Innovation liegt in der Erkenntnis, dass der Gradient einer linearen Schicht ausschließlich im Unterraum liegt, der von ihren Eingabeaktivierungen aufgespannt wird. AGZO extrahiert diesen kompakten, aktivitätsinformierten Unterraum dynamisch während des Forward‑Passes und beschränkt die Störungen auf diese niedrigrangige Dimension. Dadurch werden die Optimierungsbewegungen gezielter und weniger verrauscht.
Ein theoretischer Rahmen zeigt, dass AGZO ein subspace‑glättetes Ziel optimiert und nachweislich Richtungen liefert, die eine höhere Kosinus‑Ähnlichkeit zum wahren Gradienten aufweisen als isotrope Baselines. Diese mathematische Garantie erklärt, warum die Methode konsequent bessere Ergebnisse erzielt.
In umfangreichen Tests auf den Modellen Qwen3 und Pangu, die an verschiedenen Benchmarks evaluiert wurden, übertrifft AGZO die führenden ZO‑Baselines deutlich. Der Leistungsabstand zu First‑Order‑Fine‑Tuning wird signifikant reduziert, während der Speicherverbrauch nahezu unverändert bleibt – gleichwertig zu anderen ZO‑Ansätzen. Diese Kombination aus Effizienz, Genauigkeit und geringem Speicherbedarf macht AGZO zu einem vielversprechenden Werkzeug für das Feintuning von LLMs in ressourcenbeschränkten Umgebungen.