SPINAL: Wie DPO die Tiefe von Sprachmodellen präzise anpasst

Direct Preference Optimization (DPO) bietet eine skalierbare Alternative zu RLHF, um große Sprachmodelle anhand von Paarpräferenzen auszurichten. Doch bislang blieb der geometrische Einfluss von DPO wenig erforscht, was Audits, den Vergleich von Checkpoints und die Vorhersage von Fehlern erschwert. Mit SPINAL – Scaling‑law and Preference Integration in Neural Alignment Layers – wird dieses Problem angegangen.

SPINAL verfolgt die Veränderung der Repräsentationen Schicht für Schicht. Dabei werden zwei Kennzahlen berechnet: der Contraction Score misst, wie schnell die kleineren Spektralmoden einer Schicht verschwinden, während der Transport Score angibt, wie stark sich die Tokenverteilung zwischen benachbarten Schichten verschiebt. Ein hoher Contraction Score bedeutet, dass die Schicht in weniger effektive Richtungen zusammengepresst wird; ein niedriger Transport Score weist auf sanfte, zusammenhängende Schritte im Repräsentationsraum hin.

Die Analyse zeigt, dass DPO die Ausrichtung vor allem in den letzten Decoder‑Blöcken (typischerweise Schichten 21‑30) verstärkt. Dort steigt der Contraction Score deutlich an und der Transport Score fällt, was auf eine kompaktere und stabilere Policy‑Verteilung hindeutet. Nicht ausgerichtete Modelle hingegen weisen höhere Kurvaturen, mehr Entropie und geometrisch inkohärente Pfade auf.

SPINAL liefert damit ein präzises, schichtweises Bild der Ausrichtung und ermöglicht es, Checkpoints systematisch zu vergleichen, Audits zu erleichtern und potenzielle Fehlfunktionen frühzeitig zu erkennen. Die Methode eröffnet neue Wege, die geometrische Wirkung von DPO in großen Sprachmodellen transparent zu machen.