Hi‑ZFO: Hierarchisches Zeroth‑ und First‑Order Fine‑Tuning für LLMs

Ein brandneues Verfahren namens Hi‑ZFO (Hierarchical Zeroth‑ and First‑Order) wurde vorgestellt, das die Stärken von Gradienten‑ und nicht‑gradientenbasierten Optimierungen für das Feintuning großer Sprachmodelle kombiniert.

Traditionelles First‑Order‑Fine‑Tuning führt häufig zu scharfen, schlecht generalisierenden Minima, während Zeroth‑Order‑Methoden ohne explizite Gradienten arbeiten, aber langsamer konvergieren und bei generativen Aufgaben eine enorme Schätzvarianz aufweisen. Hi‑ZFO adressiert diese Schwächen, indem es das Modell hierarchisch in Schichten einteilt und anhand einer Wichtigkeitsprofilierung entscheidet, welche Schichten mit präzisen First‑Order‑Updates und welche mit Zeroth‑Order‑Optimierung behandelt werden.

Die Zeroth‑Order‑Komponente dient dabei nicht nur als Speicherersparnis, sondern wird gezielt als „nützliche Stochastizität“ eingesetzt, um das Modell aus lokalen Minima zu befreien, in denen reine First‑Order‑Optimierung oft stecken bleibt. Durch diese Kombination entsteht ein ausgewogenes Verfahren, das die Genauigkeit von Gradienten nutzt und gleichzeitig die explorative Kraft von Zeroth‑Order‑Schätzungen einsetzt.

In umfangreichen Tests auf generativen, mathematischen und Code‑Reasoning‑Aufgaben zeigte Hi‑ZFO konsequent bessere Ergebnisse und reduzierte gleichzeitig die Trainingszeit signifikant. Die Ergebnisse unterstreichen die Effektivität eines hierarchischen Hybrid‑Optimierungsansatzes für das Feintuning von LLMs.