Evolution Strategies vs. GRPO: Gleiche Genauigkeit, unterschiedliche Geometrie bei LLM-Post-Training

In einer aktuellen Studie wurden die beiden populären Ansätze Evolution Strategies (ES) und Group Relative Policy Optimization (GRPO) im Kontext des Post-Trainings von großen Sprachmodellen (LLM) gegeneinander getestet. Die Forscher untersuchten vier Aufgaben in Einzel- und fortlaufenden Lernumgebungen und fanden heraus, dass ES die Genauigkeit von GRPO in Einzelaufgaben gleichsetzt oder sogar übertrifft. Auch bei sequentiellem Lernen bleibt ES konkurrenzfähig, solange das Iterationsbudget begrenzt wird.

Interessanterweise führen die beiden Methoden zu sehr unterschiedlichen Modellupdates. ES verändert die Parameter deutlich stärker und erzeugt dabei einen breiteren KL-Divergenz‑Drift außerhalb der Zielaufgabe. GRPO hingegen setzt kleinere, lokalere Anpassungen um. Trotz dieser Unterschiede zeigen die beiden Verfahren eine lineare Verbindung ihrer Lösungen ohne Verlustbarriere, obwohl ihre Update-Richtungen nahezu orthogonal sind.

Die Autoren entwickelten eine analytische Theorie, die erklärt, wie ES große Off‑Task-Bewegungen in wenig informativen Richtungen akkumuliert und gleichzeitig genügend Fortschritt auf der eigentlichen Aufgabe erzielt, um die Genauigkeit von gradientenbasiertem Reinforcement Learning zu erreichen. Diese Erkenntnisse verdeutlichen, dass gradientenfreie und gradientenbasierte Feinabstimmungen gleichermaßen genaue, aber geometrisch unterschiedliche Lösungen liefern – ein Ergebnis mit wichtigen Implikationen für das Vergessen und die Wissensbewahrung.

Der komplette Quellcode der Studie ist öffentlich zugänglich unter https://github.com/Bhoy1/ESvsGRPO.