Datenqualität entscheidend: Wie Präferenzdaten DPO für LLMs optimieren

Die neue Methode Direct Preference Optimization (DPO) hat sich als unkomplizierte und wirkungsvolle Technik etabliert, um große Sprachmodelle (LLMs) an menschliche Präferenzen anzupassen, ohne ein separates Belohnungsmodell zu trainieren. Trotz ihrer zunehmenden Verbreitung bleibt die Frage offen, welche Eigenschaften der Präferenzdaten für die Leistung von DPO am wichtigsten sind.

In einer systematischen Untersuchung wurden sowohl theoretische als auch empirische Analysen durchgeführt, um den Einfluss der Datenverteilung auf DPO zu verstehen. Die Ergebnisse zeigen, dass die Qualität der ausgewählten Antworten einen dominanten Einfluss auf die Optimierung des DPO-Ziels hat, während die Qualität der abgelehnten Antworten nur einen begrenzten Effekt ausübt. Die theoretische Analyse beschreibt die optimale Antwortverteilung und erklärt, wie Kontrastivität vor allem durch die Verbesserung der ausgewählten Stichproben wirkt.

Ein weiterer Schwerpunkt lag auf einer Online‑DPO‑Umgebung, die sich als äquivalent zum überwachten Feintuning der ausgewählten Antworten herausstellt. Umfangreiche Experimente über verschiedene Aufgaben hinweg bestätigten die Befunde: Die Verbesserung der Qualität der ausgewählten Antworten steigert die Leistung konsequent, unabhängig von der Qualität der abgelehnten Antworten. Zusätzlich wurde der Nutzen der Mischung von On‑Policy‑Daten untersucht, was die Effektivität einiger gängiger Strategien erklärt und praktische Hinweise für die Erstellung wirkungsvoller Präferenzdatensätze liefert.