Forschung
<p>DPO-Optimierung zeigt Phasenwechsel: Logikleistung schwankt mit β</p> <p>In einer neuen Studie wurde die Direct Preference Optimization (DPO) für drei 7‑B‑Modelle mit offenen Gewichten systematisch untersucht. Dabei wurde der Parameter β, der die Ausrichtung der Modelle steuert, in feinen Schritten variiert, um die Auswirkungen auf die Logikfähigkeit zu beobachten.</p> <p>Bei Mistral zeigte sich ein starkes, nicht‑monotones Verhalten: Die Logikmarge wird nur in einem engen Bereich um β ≈ 10⁻² positiv, au
arXiv – cs.LG