Regulierung verbessert RLHF: Mehr Stabilität, weniger Reward‑Hacking

Reinforcement Learning from Human Feedback (RLHF) hat die Ausrichtung von KI-Modellen stark verbessert, steht aber noch vor zwei zentralen Problemen: dem sogenannten Reward‑Hacking und instabilen Optimierungsschritten.

Traditionell werden diese Herausforderungen mit getrennten Regularisierungsmethoden angegangen – ein KL‑Divergenz‑Penalty gegenüber einem vortrainierten Modell, um Reward‑Hacking zu verhindern, und ein Policy‑Ratio‑Clipping, das die Stabilität der Policy‑Updates sichern soll. Doch die Wechselwirkung zwischen beiden Regularisierungen wurde bislang kaum untersucht.

In der vorliegenden Arbeit wird ein einheitlicher Regularisierungsansatz vorgestellt, der beide Ziele gleichzeitig ausbalanciert. Durch die Kombination eines gewichteten Supervised‑Fine‑Tuning‑Losses mit einer klaren Trade‑Off‑Formulierung erreicht das Verfahren eine deutlich bessere Balance zwischen Sicherheit vor Reward‑Hacking und Stabilität der Optimierung.

Umfangreiche Experimente an verschiedenen Benchmarks zeigen, dass das neue Verfahren RLHF und Online‑Preference‑Learning‑Methoden konsequent übertrifft – sowohl in Bezug auf die Ausrichtung als auch auf die Stabilität der Lernschritte. Gleichzeitig reduziert es die Implementierungskomplexität, was die praktische Anwendung erleichtert.