OPT-350M: SFT + DPO steigern Sicherheit und Hilfsbereitschaft

Eine neue Studie auf arXiv (2509.09055v1) untersucht, wie sich die Techniken Supervised Fine‑Tuning (SFT) und Direct Preference Optimization (DPO) auf die Sicherheit und Hilfsbereitschaft des Sprachmodells OPT‑350M auswirken. Dabei wurden vier Varianten des Modells trainiert: die Basisversion, ein SFT‑Modell, ein DPO‑Modell und ein Modell, das beide Ansätze kombiniert.

Zur Bewertung wurden drei Kennzahlen eingeführt: der Harmlessness‑Rate (HmR), der Helpfulness‑Rate (HpR) und ein kombinierter Alignment‑Score (CAS). Alle Metriken basieren auf Ausgaben eines Reward‑Models, das die Qualität der Antworten misst. Die Ergebnisse zeigen, dass SFT die DPO‑Variante in allen drei Metriken übertrifft, während die Kombination aus SFT + DPO die höchste Leistung erzielt und damit die beiden Ansätze als komplementär bestätigt.

Die Autoren betonen, dass die Studie auch Herausforderungen aufzeigt, etwa durch verrauschte Trainingsdaten, begrenzte GPU-Ressourcen und generelle Trainingsbeschränkungen. Trotz dieser Hindernisse liefert die Arbeit wertvolle Einblicke in die Wirkung von Feinabstimmungsstrategien auf die Modellausrichtung und legt damit einen soliden Grundstein für robustere Alignment‑Pipelines in zukünftigen Projekten.