SPINAL: Wie DPO die Tiefe von Sprachmodellen präzise anpasst
Direct Preference Optimization (DPO) bietet eine skalierbare Alternative zu RLHF, um große Sprachmodelle anhand von Paarpräferenzen auszurichten. Doch bislang blieb der geometrische Einfluss von DPO wenig erforscht, was Audits, den Vergleich von Checkpoints und die Vorhersage von Fehlern erschwert. Mit SPINAL – Scaling‑law and Preference Integration in Neural Alignment Layers – wird dieses Problem angegangen.
