Von RLHF zu direktem Alignment: Theoretische Einheit für Präferenzlernen LLMs

Die sichere und nützliche Nutzung großer Sprachmodelle hängt davon ab, wie gut sie menschliche Präferenzen widerspiegeln. Während Reinforcement Learning from Human Feedback (RLHF) lange Zeit das vorherrschende Verfahren war, haben sich inzwischen zahlreiche Alternativen entwickelt – von Direct Preference Optimization (DPO) über Identity Preference Optimization (IPO) bis hin zu Kahneman‑Tversky Optimization (KTO) und Simple Preference Optimization (SimPO). Diese Vielfalt hat die Auswahl für Entwickler erschwert.

Eine aktuelle Untersuchung bietet nun eine theoretische Vereinheitlichung aller Präferenzlernmethoden. Sie zeigt, dass die scheinbare Vielfalt auf drei orthogonale Achsen zurückzuführen ist: (I) das zugrunde liegende Präferenzmodell, (II) der Regularisierungsmechanismus, der Abweichungen von Referenzpolitiken steuert, und (III) die Datenverteilung, also ob das Lernen online oder offline erfolgt und welche Abdeckung gefordert ist. Jede Achse wird mit präzisen Definitionen und Sätzen formalisiert.

Die Analyse liefert wichtige Resultate, darunter die Trennung von Online‑ und Offline‑Methoden hinsichtlich ihrer Abdeckung, Skalierungs­gesetze für die Überoptimierung von Belohnungen und Bedingungen, unter denen direkte Alignment‑Ansätze scheitern. Typische Fehler wie Längen‑Hacking, Modenkollaps oder Likelihood‑Verlagerung lassen sich als vorhersehbare Kombinationen bestimmter Designentscheidungen erklären.

Zusätzlich werden über 50 Studien zusammengefasst und ein praktischer Entscheidungsleitfaden präsentiert, der Entwicklern hilft, die passende Methode für ihre spezifischen Anforderungen auszuwählen. Diese Arbeit verwandelt das Präferenzlernen von einer experimentellen Kunst in ein systematisches, nachvollziehbares Verfahren.