Surgery: Mitigation von schädlichem Fine‑Tuning bei LLMs durch Attention Sink

Schädliches Fine‑Tuning kann die Sicherheitsausrichtung großer Sprachmodelle zunichte machen und erhebliche Risiken bergen. In der neuen Studie wird ein Mechanismus namens Attention Sink eingesetzt, um diese Gefahren zu reduzieren. Dabei wird ein Kennwert namens „Sink‑Divergenz“ für jede Aufmerksamkeits‑Kopf berechnet, der zeigt, dass unterschiedliche Köpfe unterschiedliche Divergenz‑Zeichen aufweisen.

Die Autoren untersuchten, wie sich die Sink‑Divergenz auf die Sicherheit auswirkt. Sie stellten fest, dass die Anzahl der Köpfe mit positiver Divergenz mit zunehmender Gefährlichkeit des Modells steigt, wenn schädliches Fine‑Tuning durchgeführt wird. Daraus folgte die Hypothese, dass Köpfe, die schädliche Muster lernen, anhand ihres Divergenz‑Zeichens separierbar sind.

Auf dieser Grundlage entwickelte das Team die Verteidigungsstrategie „Surgery“. Sie fügt dem Fine‑Tuning einen Regularisierer hinzu, der die Sink‑Divergenz dämpft und die Köpfe in die Gruppe mit negativer Divergenz lenkt. Dadurch wird die Neigung des Modells, schädliche Muster zu erlernen und zu verstärken, verringert.

Umfangreiche Experimente zeigen, dass Surgery die Verteidigungsleistung um 5,90 %, 11,25 % bzw. 9,55 % auf den Benchmarks BeaverTails, HarmBench und SorryBench verbessert. Der Quellcode ist auf GitHub verfügbar.