MixDPO: Präferenzstärke modelliert – neue Methode für pluralistische Alignment

In einer wegweisenden Veröffentlichung präsentiert das Forschungsteam die Mixed Logit Direct Preference Optimization (MixDPO), eine Weiterentwicklung des Direct Preference Optimization (DPO). MixDPO berücksichtigt, dass menschliche Präferenzen nicht gleich stark ausgedrückt werden – ein Phänomen, das in der Verhaltensökonomie und der diskreten Wahltheorie gut dokumentiert ist. Durch die Einbindung einer Mixed-Logit-Struktur kann die Methode die individuelle Stärke von Präferenzen explizit modellieren und so heterogene menschliche Urteile besser erfassen.

Die Autoren haben MixDPO an drei unterschiedlichen Präferenzdatensätzen getestet und dabei zwei Open-Weight-Sprachmodelle eingesetzt. Die Ergebnisse zeigen, dass MixDPO die Gesamtleistung bei der Ausrichtung von Modellen um beeindruckende 11,2 Punkte auf dem Pythia‑2.8B-Modell steigert. Gleichzeitig bleibt die Präferenzbalance innerhalb von Untergruppen erhalten, was besonders in Szenarien mit hoher Präferenzheterogenität zu den größten Verbesserungen führt.

Mit MixDPO wird die bislang implizite Annahme gleicher Präferenzstärke aufgehoben und durch lernbare Stärkeverteilungen ersetzt. Das Team stellt den zugehörigen Code zur Verfügung, um die Reproduzierbarkeit der Ergebnisse zu gewährleisten und die Forschungsgemeinschaft zur weiteren Entwicklung dieser vielversprechenden Technik einzuladen.