Neuer Ansatz: Alignment-Weighted DPO stärkt Sicherheit von Sprachmodellen

In den letzten Jahren haben Techniken wie Supervised Fine‑Tuning (SFT), Reinforcement Learning from Human Feedback (RLHF) und Direct Preference Optimization (DPO) die Sicherheit großer Sprachmodelle deutlich verbessert. Dennoch bleiben diese Modelle anfällig für sogenannte Jailbreak‑Angriffe, bei denen schädliche Absichten durch indirekte oder täuschende Formulierungen verschleiert werden.

Durch kausale Interventionen wurde gezeigt, dass die Schwachstellen auf flachem Alignment beruhen: Modelle erkennen schädliche Anfragen zwar, verstehen aber nicht wirklich, warum sie gefährlich sind. Um dieses Problem zu beheben, wurde ein neues Chain‑of‑Thought (CoT) Fine‑Tuning‑Datensatz entwickelt, der sowohl nutzungsorientierte als auch sicherheitskritische Prompts mit schrittweisen Begründungen enthält. Das Training mit diesem Datensatz führt zu prinzipiellen Ablehnungen, die auf fundiertem Denken basieren und die Standard‑SFT‑Modelle übertreffen.

Aus den Erkenntnissen der CoT‑Feinabstimmung entstand die Methode Alignment‑Weighted DPO. Sie gewichtet unterschiedliche Teile eines Outputs – die Begründung und die Endantwort – unterschiedlich, um gezielt die problematischsten Abschnitte zu verbessern. Dadurch entstehen feinere, zielgerichtete Updates als bei herkömmlichem DPO und die Robustheit gegen verschiedene Jailbreak‑Strategien steigt.

Umfangreiche Tests an mehreren Sicherheits‑ und Nutzenbenchmarks zeigen, dass Alignment‑Weighted DPO die Alignment‑Robustheit konsequent erhöht, ohne die Gesamtleistung des Modells zu beeinträchtigen. Dieser Ansatz markiert einen wichtigen Schritt hin zu sichereren und nachvollziehbareren Sprachmodellen.