GradAlign: Gradientbasierte Datenauswahl verbessert RL für LLMs

Reinforcement Learning (RL) hat sich zu einem zentralen Post‑Training‑Paradigma für große Sprachmodelle (LLMs) entwickelt, doch seine Leistung hängt stark von der Qualität der Trainingsaufgaben ab. Diese Sensitivität entsteht durch die Nicht‑Stationarität von RL: Rollouts werden von einer sich ständig verändernden Policy erzeugt und das Lernen wird von Exploration und Belohnungsfeedback geprägt, im Gegensatz zum klassischen Supervised Fine‑Tuning mit festen Trajektorien.

Frühere Ansätze stützen sich häufig auf manuelle Kuratierung oder einfache heuristische Filter wie Genauigkeit. Solche Methoden können jedoch fehlerhafte oder wenig nützliche Aufgaben zulassen, was die Lernfortschritte beeinträchtigt.

GradAlign bietet einen neuen Ansatz zur Datenauswahl, bei dem ein kleines, vertrauenswürdiges Validierungsset verwendet wird, um Trainingsaufgaben zu priorisieren, deren Policy‑Gradienten mit den Validierungsgradienten ausgerichtet sind. Diese Ausrichtung erzeugt ein adaptives Curriculum, das die Lernrichtung gezielt steuert.

In umfangreichen Tests über drei herausfordernde Szenarien – unzuverlässige Belohnungssignale, Verteilungsungleichgewicht und ein wenig nützlicher Trainingskorpus – übertrifft GradAlign konsequent bestehende Baselines. Die Ergebnisse unterstreichen die Bedeutung richtungsabhängiger Gradientensignale für die Navigation durch nicht‑stationäre Policy‑Optimierung, was zu stabileren Trainingsläufen und verbesserten Endergebnissen führt.

Die Implementierung von GradAlign ist frei verfügbar unter https://github.com/StigLidu/GradAlign.