Neues RL-Framework GIFT vereint GRPO, DPO und UNA für bessere LLM‑Ausrichtung

Die neueste Veröffentlichung auf arXiv (2510.23868v1) stellt GIFT – Group‑relative Implicit Fine Tuning – vor, ein innovatives Reinforcement‑Learning‑Framework, das die Ausrichtung von großen Sprachmodellen (LLMs) neu definiert. Anstatt wie bei PPO oder GRPO die kumulativen Belohnungen direkt zu maximieren, minimiert GIFT die Diskrepanz zwischen impliziten und expliziten Belohnungsmodellen.

GIFT kombiniert drei zentrale Ideen: Erstens die Online‑Mehrantwort‑Generierung und Normalisierung von GRPO, zweitens die implizite Belohnungsformulierung von DPO und drittens das Prinzip der implizit‑expliziten Belohnungsangleichung von UNA. Durch die gemeinsame Normalisierung dieser Belohnungen wird ein sonst unhandhabbare Term eliminiert, sodass die komplexe Optimierungsaufgabe in einen einfachen mittleren quadratischen Fehler (MSE) zwischen den normalisierten Belohnungsfunktionen überführt wird. Das Ergebnis ist ein konvexes, stabiles und analytisch differenzierbares Optimierungsproblem.

Im Gegensatz zu Offline‑Methoden wie DPO und UNA bleibt GIFT on‑policy und behält damit die Fähigkeit zur Exploration bei. Es benötigt weniger Hyperparameter, konvergiert schneller und generalisiert besser, wobei das Risiko von Überanpassung deutlich reduziert wird. Empirische Tests zeigen, dass GIFT bei mathematischen Benchmark‑Aufgaben eine überlegene Beweis- und Ausrichtungsleistung erzielt, während es gleichzeitig ressourcenschonend bleibt.