U-CAN: Unlearning in Generativen Empfehlungen – Utility-Aware Attenuation

Generative Recommendation (GenRec) nutzt große Sprachmodelle, um Personalisierung als auf Anweisungen basierende Sequenzgenerierung neu zu definieren. Dabei werden jedoch durch das Feintuning auf Nutzerdaten sensible Attribute ungewollt in die Modellparameter eingebettet, was erhebliche Datenschutzbedenken aufwirft.

Traditionelle Machine‑Unlearning‑Methoden stoßen hier an ihre Grenzen. Das sogenannte Polysemy‑Dilemma beschreibt, wie Neuronen sensible Informationen mit allgemeinen Denkmustern vermischen. Gradient‑ oder Pruning‑Ansätze führen daher zu katastrophalen Verlusten an Modellleistung.

U‑CAN (Utility‑aware Contrastive Attenuation) bietet einen präzisen Ansatz, der ausschließlich auf Low‑Rank‑Adapters abzielt. Durch kontrastive Analyse werden Neuronen identifiziert, die stark auf die zu vergessenden Daten reagieren, aber bei den zu behaltenden Daten unterdrückt werden. Ein utility‑aware‑Kalibrierungsmechanismus kombiniert Gewichtsmagnituden mit Aktivierungsnormen des Retentionssatzes, um Dimensionen mit hohem Nutzen zu priorisieren. Anstelle von harten Prunings wird eine differenzierbare Abklingfunktion eingesetzt, die riskante Parameter sanft abschwächt und damit die Netzwerkstruktur intakt hält.

Experimentelle Ergebnisse auf zwei öffentlichen Datensätzen und über sieben Leistungsmetriken zeigen, dass U‑CAN die Privatsphäre signifikant schützt, während die Modellleistung nahezu unverändert bleibt. Der Ansatz demonstriert damit, dass effizientes Unlearning in generativen Empfehlungssystemen praktikabel und gleichzeitig leistungsstark sein kann.