MPU: Mehr Sicherheit und Datenschutz beim Vergessen großer Sprachmodelle

In der Forschung zum maschinellen Vergessen großer Sprachmodelle stellt sich häufig ein Datenschutzproblem dar: Sowohl die Serverparameter als auch die privaten „Vergessenssets“ der Clients dürfen nicht offengelegt werden. Das neue Verfahren MPU (Multiple Perturbed Copies Unlearning) löst dieses Dilemma elegant, indem es zwei serverseitige Module einführt: Pre‑Process und Post‑Process.

Im Pre‑Process erzeugt der Server mehrere zufällig gestörte und neu parametrierte Kopien des Modells. Dadurch kann der Client das Vergessen lokal auf seinem privaten Datensatz durchführen, ohne jemals die exakten Originalparameter zu sehen. Nach der lokalen Anpassung übernimmt der Server im Post‑Process die Umkehrung der Reparametrisierung und aggregiert die Updates mithilfe eines harmonischen Denoising‑Verfahrens, um die Auswirkungen der Störung zu minimieren.

Experimentelle Tests mit sieben verschiedenen Vergessensalgorithmen zeigen, dass MPU die Leistung von noise‑freien Baselines nahezu gleichwertig erreicht. Bei einer Störungsrate von 10 % liegt die durchschnittliche Leistungsabnahme unter 1 %, und bei 1 % Störung übertrifft MPU sogar einige noise‑freie Modelle. Der komplette Code ist frei verfügbar unter https://github.com/Tristan-SHU/MPU.