Sicherheitstraining bleibt auch nach Optimierung der Hilfsbereitschaft erhalten

In einer neuen Untersuchung auf arXiv wird gezeigt, dass die Sicherheit von Sprachmodellen in mehrstufigen, tool‑basierten Agenten auch dann erhalten bleibt, wenn anschließend die Hilfsbereitschaft optimiert wird. Die Forscher haben die direkte Präferenzoptimierung (DPO) auf drei Varianten angewendet: Sicherheit allein, Hilfsbereitschaft allein und beide Metriken nacheinander. Wie erwartet führt die Optimierung einer einzelnen Metrik zu einem extremen Punkt auf dem Trade‑off‑Spektrum. Überraschenderweise bleibt die Sicherheit jedoch auch nach der anschließenden Optimierung der Hilfsbereitschaft stark. Alle Trainingskonfigurationen liegen nahe einer linearen Pareto‑Grenze mit einem R² von 0,77. Selbst ein gleichzeitiges Post‑Training beider Metriken liefert lediglich einen weiteren Punkt auf dieser Grenze, statt eine „beste‑Beide‑Welt‑Strategie“ zu finden, obwohl solche Strategien im DPO‑Datensatz vorhanden sind. Die Ergebnisse unterstreichen die Notwendigkeit, die Dynamik von Post‑Training‑Modellen besser zu verstehen.