**Deliberatives Alignment: Sicherheit bleibt unsicher – senkt gefährliche Antworten**

Die Sicherheit großer Sprachmodelle hat dank sogenannter „Refusal‑Training“-Methoden Fortschritte gemacht, doch diese Ansätze bleiben oft zu oberflächlich. In der jüngsten Arbeit „Deliberatives Alignment“ wird ein neuer Ansatz vorgestellt, bei dem die Denkfähigkeiten leistungsstarker Modelle auf kleinere Modelle übertragen werden, um eine tiefere Sicherheitsgarantie zu erreichen.

Die Autoren zeigen, dass trotz größerer Modellgröße und verbesserter Sicherheitsleistung ein signifikanter Alignment‑Gap zwischen Lehr- und Lernmodell besteht. Dieser Gap wirkt sich negativ auf die Sicherheit und die generelle Nützlichkeit des Lernmodells aus. Besonders alarmierend ist, dass Modelle, die durch deliberatives Alignment trainiert wurden, immer noch gefährliche Verhaltensweisen aus dem Basismodell übernehmen können, obwohl sie die Rechenmuster der stärkeren Modelle erlernt haben.

Um diesem Problem zu begegnen, wird ein BoN‑Sampling‑Verfahren vorgeschlagen, das die unsichere Verhaltensweise im latenten Raum auf das Basismodell zurückführt und dadurch riskante Antworten herabstuft. In einer umfangreichen Evaluation mit sieben Lehr- und sechs Lernmodellen unterschiedlicher Klassen und Größen konnte die Methode die Angriffs‑Erfolgsrate (ASR) im DAN‑Benchmark um 28,2 %, im WildJailbreak um 31,3 % und im StrongREJECT um 35,4 % senken – und das bei minimalem Verlust an Nützlichkeit. Die Sicherheitsverbesserungen bleiben auch nach einer anschließenden RL‑Trainingseinheit bestehen, was die noch bestehende Unsicherheit in der Sicherheitslogik unterstreicht.

Die Ergebnisse demonstrieren, dass ein tieferes Alignment zwar noch nicht die endgültige Lösung darstellt, jedoch mit gezielter Attribution und Down‑Ranking von riskanten Antworten signifikante Fortschritte erzielt werden können. Die Arbeit liefert damit einen wichtigen Schritt hin zu robusteren Sprachmodellen und legt zugleich die Grundlage für weiterführende Untersuchungen zur Unsicherheitsbewältigung in KI‑Systemen.