Hierarchisches Federated Unlearning für große Sprachmodelle

In einer Zeit, in der große Sprachmodelle (LLMs) immer stärker in reale Anwendungen integriert werden, wächst die Sorge um Datenschutz, Sicherheit und die Notwendigkeit, unerwünschtes Wissen zu entfernen. Machine Unlearning hat sich als vielversprechende Lösung etabliert, steht jedoch vor zwei zentralen Herausforderungen: Erstens sind die Anforderungen an das Unlearning häufig kontinuierlich und heterogen. Zweitens betreffen sie dezentralisierte, sensible Daten mit asymmetrischem Zugriff. Diese Faktoren führen zu Interferenzen zwischen Domänen und verstärken das Problem des unausgewogenen Vergessens bei gleichzeitiger Erhaltung der Modellleistung.

Um diesen Problemen zu begegnen, präsentiert die neue Studie einen skalierbaren und datenschutzfreundlichen federated Unlearning-Ansatz für LLMs. Der Ansatz trennt Unlearning und Beibehaltung durch task-spezifisches Adapter-Lernen und nutzt eine hierarchische Merge-Strategie, um widersprüchliche Ziele zu mildern. Dadurch werden robuste und anpassungsfähige Unlearning-Updates ermöglicht, die gleichzeitig die Leistungsfähigkeit des Modells bewahren.

Umfangreiche Experimente an den Benchmarks WMDP, MUSE und TOFU zeigen, dass die vorgeschlagene Methode heterogene Unlearning-Anfragen effektiv verarbeitet und dabei die Leistungsfähigkeit der LLMs im Vergleich zu bestehenden Baselines deutlich verbessert. Diese Fortschritte markieren einen wichtigen Schritt in Richtung verantwortungsbewusster KI, die sowohl Datenschutz als auch Leistungsanforderungen gleichermaßen berücksichtigt.