FA‑DPO: Robustes Verfahren gegen Präferenzumkehr in RLHF

In der jüngsten Veröffentlichung auf arXiv (Arbeitstitel: „When Human Preferences Flip: An Instance-Dependent Robust Loss for RLHF“) wird ein neuer Ansatz vorgestellt, der das Problem der Präferenzumkehr – also das häufige Umkehren von menschlichen Vorlieben – in der Datenannotation für große Sprachmodelle (LLM) gezielt bekämpft. Durch die Einführung des Flipping‑Aware Direct Preference Optimization (FA‑DPO) Algorithmus wird die Robustheit von Reinforcement‑Learning‑with‑Human‑Feedback (RLHF) deutlich erhöht.

Der Autor trennt die Analyse in zwei Phasen: Zunächst wird das zugrunde liegende menschliche Intention‑Modell untersucht, danach die Mechanismen, die zu Präferenzumkehr führen. Für die zweite Phase wird ein instanzabhängiges Flip‑Verhältnis auf Basis des Bradley‑Terry‑Modells definiert. Zusätzlich werden Merkmale, die bei der Präferenzannotation relevant sind, genutzt, um Unsicherheiten in den Urteilen zu erfassen und typische Flip‑Muster zu modellieren.

FA‑DPO lässt sich nahtlos in bestehende RLHF‑ und DPO‑Algorithmen integrieren und nutzt einen einfachen, aber effizienten iterativen Optimierungsprozess. In umfangreichen Experimenten zeigt sich, dass das neue Verfahren unter verschiedenen Bedingungen die Präferenzumkehr signifikant reduziert und die Qualität der ausgerichteten Sprachmodelle verbessert, im Vergleich zu herkömmlichen Baselines.