SAM im Logit‑Raum: Effiziente Verbesserung von Direct Preference Optimization

Direct Preference Optimization (DPO) hat sich als beliebter Ansatz etabliert, um vortrainierte Sprachmodelle an menschliche Präferenzen anzupassen. Seine Stärke liegt in der einfachen Implementierung und der stabilen Trainingsdynamik. Gleichzeitig wurde ein Problem namens „Squeezing Effect“ (auch Likelihood Displacement genannt) entdeckt, bei dem die Wahrscheinlichkeit für bevorzugte Antworten während des Trainings unbeabsichtigt sinkt.

Um dieses Phänomen zu verstehen und zu beheben, wurde ein theoretisches Modell entwickelt, das die koordinatenweise Dynamik im Logit‑Raum beschreibt. Die Analyse zeigt, dass negative‑Gradient‑Updates die Residuen entlang hochkrümmiger Richtungen rasch ausdehnen, was den Squeezing Effect verursacht. Sharpness‑Aware Minimization (SAM) kann dieses Verhalten durch seine Krümmungsregularisierung unterdrücken.

Auf Basis dieser Erkenntnisse wurde logits‑SAM als effiziente Variante eingeführt. Diese Methode perturbiert ausschließlich die Ausgabeschicht, wodurch der Rechenaufwand minimal bleibt. Durch die gezielte Regulierung der Logits wird die Stabilität des DPO-Trainings verbessert, ohne die Modellarchitektur zu verändern.

Umfangreiche Experimente mit Pythia‑2.8B, Mistral‑7B und Gemma‑2B‑IT über mehrere Datensätze und Benchmarks hinweg zeigen, dass logits‑SAM die Effektivität von DPO konsistent steigert und sich nahtlos in andere DPO‑Varianten integrieren lässt. Der zugehörige Code ist unter https://github.com/RitianLuo/logits-sam-dpo verfügbar.