Neue Gewichtungsstrategien verbessern Präferenzoptimierung von LLMs

Fine‑Tuning ist ein wesentlicher Schritt, um große Sprachmodelle (LLMs) an menschliche Präferenzen anzupassen. Das neue Verfahren Multiple‑Reference Preference Optimization (MRPO) baut auf Direct Preference Optimization (DPO) auf, indem es LLMs auf Präferenzdatensätzen trainiert und gleichzeitig die Policy gegen eine Mischung aus Referenzmodellen reguliert, um deren kollektive Vorteile zu nutzen.

Aktuelle Methoden zur Bestimmung der Referenzgewichte sind jedoch willkürlich und statistisch unsicher, was zu unzuverlässigen Ergebnissen führt. Um dieses Problem zu lösen, wurden vier neue Gewichtungsstrategien entwickelt: zwei Offline‑Ansätze, die ein hold‑out‑Validierungssignal nutzen; ein Online‑Ansatz mit einem gleitenden Fenster, um Overfitting zu reduzieren; und ein Online‑Ansatz, der die Referenzgewichtung als K‑armed‑Bandit mittels Thompson Sampling behandelt.

In Experimenten mit dem Policy‑Modell Qwen2.5‑0.5B und sieben Referenzmodellen aus den Llama, Mistral, Qwen, Yi und Phi‑Familien (je 0.5 B–14 B Parameter) übertrafen alle vier Strategien die bisherigen MRPO‑Gewichtungsmethoden hinsichtlich Präferenzgenauigkeit auf den Datensätzen UltraFeedback und SafeRLHF.

Erstaunlicherweise zeigte sich, dass ein einzelnes Referenz‑DPO‑Modell – unabhängig davon, ob eines der sieben Referenzmodelle verwendet wird – konsequent alle getesteten Mehrfach‑Referenz‑Ansätze übertraf. Diese Erkenntnis wirft Fragen zur praktischen Attraktivität von Mehrfach‑Referenz‑Methoden auf.