Neue Methode stärkt Sicherheit von Sprachmodellen durch gezielte Optimierungsgeometrie

Die Sicherheit großer Sprachmodelle bleibt trotz Fortschritten oft fragil, wenn die Trainingsdaten von ihrem ursprünglichen Kontext abweichen oder die Präferenzfeedbacks verrauscht sind. Traditionelle robuste Ansätze konzentrieren sich dabei überwiegend auf Unsicherheiten in den Daten und vernachlässigen, dass die Optimierung selbst Schwachstellen erzeugen kann.

In der neuen Studie wird ein ganz anderer Blickwinkel vorgestellt: die Optimierungsgeometrie. Das vorgeschlagene Framework, genannt ShaPO, nutzt gezielte geometrische Kontrolle über die Parameter, die für die Sicherheitsausrichtung entscheidend sind. Durch das Vermeiden gleichmäßiger Regularisierungseinschränkungen reduziert ShaPO die Überanpassung, die bei veränderten Verteilungen die Robustheit untergräbt.

ShaPO wird in zwei Varianten umgesetzt. Auf Token-Ebene stabilisiert es die Likelihood-basierte Surrogatoptimierung, während auf Reward-Ebene die Konsistenz der Belohnungsfunktion unter verrauschten Supervisionen sichergestellt wird. In einer Vielzahl von Sicherheitsbenchmarks und bei unterschiedlichen Rauschstufen zeigt ShaPO konsistent bessere Ergebnisse als beliebte Präferenzoptimierungsverfahren.

Ein weiterer Vorteil ist die nahtlose Kombination mit datenbasierten Robustheitsstrategien, die zusätzliche Verbesserungen liefern und die theoretische Sichtweise der Optimierungsgeometrie weiter untermauern. Diese Arbeit liefert damit einen wichtigen Schritt hin zu verlässlicheren, sichereren Sprachmodellen, die auch unter schwierigen Bedingungen bestehen.