DPO steuert Verhalten, nicht Glaubenshaltungen – Ein Blick hinter die Kulissen

Direct Preference Optimization (DPO) gilt als Standardverfahren, um große Sprachmodelle an menschliche Präferenzen anzupassen. Doch bislang war unklar, welche tiefgreifenden Veränderungen DPO im Netzwerk bewirkt. Die neue Studie zeigt, dass DPO nicht die inneren Überzeugungen eines Modells neu schreibt, sondern vielmehr als ein niedrigdimensionales Steuerungsinstrument wirkt, das die Aktivierungen entlang einer kleinen Anzahl von Präferenzrichtungen verschiebt.

Durch eine einfache Ableitung wird deutlich, dass der DPO‑Gradient ausschließlich von der Differenz der Logit‑Einbettungen bevorzugter und abgelehnter Ausgaben abhängt. Das bedeutet, dass DPO eine erste‑Ordnung‑Veränderung der Enddarstellung bewirkt, anstatt die Semantik des Modells grundlegend neu zu strukturieren.

Aus einem DPO‑optimierten Modell wurde ein empirischer Steering‑Vektor extrahiert. Die Hinzufügung dieses Vektors zu den Basisaktivierungen reproduziert nahezu das gesamte abgestimmte Verhalten, während dessen Subtraktion das ursprüngliche Modell weitgehend zurückbringt. Diese Beobachtung unterstreicht, dass DPO das Modell lediglich anleitet, wie es handeln soll, ohne seine „Glaubensbasis“ zu verändern.

Spektralanalysen zeigen eine Rang‑eins‑Dominanz und einen Entropie­zusammenbruch in den oberen Schichten, was darauf hindeutet, dass die Ausrichtung durch einen engen Subraum kanalisiert wird. Zusammenfassend unterstützt die Arbeit die Sichtweise, dass DPO eine Verhaltensillusion erzeugt: Es lehrt Modelle, wie sie sich anpassen, nicht, was sie zu glauben haben.