GRADE: Backpropagation statt Policy Gradients für LLM‑Ausrichtung

In der Welt der großen Sprachmodelle (LLMs) dominiert das Reinforcement Learning aus menschlichem Feedback (RLHF) als bevorzugte Methode, um Modelle an menschliche Präferenzen anzupassen. Doch die gängigen Policy‑Gradient‑Ansätze wie Proximal Policy Optimization (PPO) leiden unter stark variierenden Gradienten, was umfangreiche Hyperparameter‑Feinabstimmungen und hohe Rechenkosten erfordert.

Die neue Methode GRADE (Gumbel‑Softmax‑Relaxation für die Ausrichtung mittels differenzierbarer Schätzung) löst dieses Problem, indem sie die hochvariante Policy‑Gradient‑Schätzung durch direkte Backpropagation über eine differenzierbare Annäherung des diskreten Token‑Sampling‑Prozesses ersetzt. Durch die Kombination von Gumbel‑Softmax‑Reparametrisierung und Straight‑Through‑Estimation (GRADE‑STE) wird ein durchgängiger Gradientenfluss von den Belohnungssignalen über die generierten Tokens bis zu den Modellparametern ermöglicht.

Bei sentiment‑kontrollierten Textgenerierungsaufgaben mit dem IMDB‑Datensatz erzielte GRADE‑STE einen Test‑Reward von 0,763 ± 0,344 – deutlich höher als die 0,510 ± 0,313 von PPO und die 0,617 ± 0,378 von REINFORCE. Das entspricht einer relativen Verbesserung von rund 50 % gegenüber PPO. Gleichzeitig liegt die Gradientenvarianz von GRADE‑STE mehr als 14‑mal niedriger als bei REINFORCE, was zu stabileren Trainingsdynamiken führt.

Durch sorgfältige Aufteilung in Trainings-, Validierungs- und Testdaten zeigte die Evaluation, dass die erzielten Verbesserungen auch auf unbekannte Daten übertragbar sind. GRADE‑STE überzeugt damit nicht nur in der Performance, sondern auch in der Generalisierung.

Zusammengefasst bietet GRADE eine einfachere, stabilere und effektivere Alternative zu herkömmlichem RL für die Ausrichtung von LLMs – ein bedeutender Schritt in Richtung effizienterer und zuverlässigerer Sprachmodelle.