RLHF: Neue Theorie erklärt, warum große Sprachmodelle nach Feedback generalisieren

Reinforcement Learning from Human Feedback (RLHF) hat sich als führende Methode etabliert, um große Sprachmodelle (LLMs) an menschliche Intentionen anzupassen. Trotz ihrer beeindruckenden praktischen Erfolge fehlt bislang eine fundierte theoretische Erklärung dafür, warum diese Modelle in hochdimensionalen Räumen gut generalisieren.

In einer kürzlich veröffentlichten Arbeit auf arXiv wird ein neues theoretisches Fundament für RLHF gelegt. Die Autoren entwickeln eine Generalisierungstheorie für LLMs unter einem linearen Belohnungsmodell und nutzen dafür das Konzept der algorithmischen Stabilität. Im Gegensatz zu bisherigen Ansätzen, die sich auf die Konsistenz von Maximum-Likelihood-Schätzungen konzentrieren, betrachten sie ein end-to-end Lernframework, das den realen Trainingsabläufen entspricht.

Ein zentrales Ergebnis ist, dass unter einer sogenannten „Feature‑Coverage“-Bedingung die empirischen Optima des Politikmodells eine Generalisierungsgrenze von der Größenordnung O(n-1/2) besitzen. Das bedeutet, dass die Leistung des Modells mit zunehmender Datenmenge schnell stabilisiert.

Darüber hinaus zeigen die Autoren, dass diese Resultate auch für Parameter gelten, die durch gradientenbasierte Lernalgorithmen wie Gradient Ascent (GA) und Stochastic Gradient Ascent (SGA) ermittelt werden. Damit liefert die Studie eine theoretische Bestätigung für die beobachtete Generalisierung von LLMs nach RLHF und eröffnet neue Perspektiven für die Weiterentwicklung dieser Techniken.