Rückwärts-Engineering von Modelländerungen bei Sprachmodellen

Große Sprachmodelle speichern dank ihrer enormen Trainingsdatenmengen unabsichtlich sensible Informationen. Um diese Daten gezielt zu korrigieren, setzen Entwickler häufig auf „Locate‑then‑Edit“-Methoden, die Parameter anpassen, ohne das Modell neu zu trainieren. Unser neuer Beitrag zeigt jedoch, dass diese Parameterupdates selbst ein Sicherheitsrisiko darstellen: Sie fungieren als Nebenkanal, über den Angreifer die bearbeiteten Inhalte rekonstruieren können.

Wir stellen KSTER vor – eine zweistufige Reverse‑Engineering‑Attacke, die die niedrige Rangstruktur der Updates ausnutzt. Zunächst demonstrieren wir theoretisch, dass der Zeilenraum der Update‑Matrix ein „Fingerabdruck“ der bearbeiteten Subjekte enthält. Durch spektrale Analyse lassen sich diese Subjekte anschließend exakt zurückerhalten. In der zweiten Stufe nutzen wir einen entropy‑basierten Prompt‑Recovery‑Ansatz, um den semantischen Kontext der Editierung zu rekonstruieren.

Umfangreiche Experimente an verschiedenen großen Sprachmodellen zeigen, dass KSTER die bearbeiteten Daten mit hoher Erfolgsquote zurückgewinnen kann. Gleichzeitig präsentieren wir eine Verteidigungsstrategie namens Subspace‑Camouflage, die den Fingerabdruck mit semantischen Ablenkungen verschleiert. Diese Methode reduziert das Rekonstruktionsrisiko, ohne die Nützlichkeit der Modelländerung zu beeinträchtigen.

Der komplette Code ist frei verfügbar unter https://github.com/reanatom/EditingAtk.git.