Teleportation-Defensive Technik schützt Privatsphäre bei Unlearning

Approximate Machine Unlearning ist ein vielversprechender Ansatz, um gezielt den Einfluss einzelner Datenpunkte aus einem trainierten Modell zu entfernen, ohne das gesamte Modell neu zu trainieren. Doch die Technik birgt neue Datenschutzrisiken: Ein Angreifer, der sowohl das Modell vor als auch nach dem Unlearning besitzt, kann die Unterschiede ausnutzen, um Mitgliedschafts‑Inference‑Angriffe durchzuführen oder die ursprünglichen Daten zu rekonstruieren.

Die Schwachstellen liegen in zwei Faktoren: Erstens erzeugen die zu verlassenden Datenpunkte sehr große Gradienten, die das Modell stark beeinflussen. Zweitens liegen die unlearned Parameter in unmittelbarer Nähe zu den ursprünglichen Werten, sodass die Unterschiede kaum zu erkennen sind. Um die Schwere dieser Bedrohung zu verdeutlichen, wurden spezielle Membership‑Inference‑ und Rekonstruktionsangriffe entwickelt, die zeigen, dass aktuelle Methoden wie NGP und SCRUB weiterhin anfällig sind.

Als Gegenmaßnahme wurde WARP vorgestellt – ein plug‑and‑play Teleportations‑Defensesystem, das neuronale Netzsymmetrien nutzt, um die Gradientenernergie der verlassenden Samples zu reduzieren und die Parameterverteilung zu streuen, ohne die Vorhersagen zu beeinträchtigen. Durch diese Reparametrisierung wird das Signal der vergessenen Daten verschleiert, sodass Angreifer es schwerer haben, vergessene Beispiele zu identifizieren oder zu rekonstruieren.

In Tests mit sechs unterschiedlichen Unlearning‑Algorithmen erzielte WARP konsistente Privatsphäregewinne: Der adversarielle Vorteil (AUC) wurde in Black‑Box‑Szenarien um bis zu 64 % und in White‑Box‑Szenarien um bis zu 92 % reduziert, während die Genauigkeit auf den verbleibenden Daten unverändert blieb. Diese Ergebnisse unterstreichen, dass Teleportation ein generelles Werkzeug zur Reduktion von Angriffserfolgen im approximativen Unlearning darstellt.