Hierarchisches Federated Unlearning für große Sprachmodelle
In einer Zeit, in der große Sprachmodelle (LLMs) immer stärker in reale Anwendungen integriert werden, wächst die Sorge um Datenschutz, Sicherheit und die Notwendigkeit, unerwünschtes Wissen zu entfernen. Machine Unlearning hat sich als vielversprechende Lösung etabliert, steht jedoch vor zwei zentralen Herausforderungen: Erstens sind die Anforderungen an das Unlearning häufig kontinuierlich und heterogen. Zweitens betreffen sie dezentralisierte, sensible Daten mit asymmetrischem Zugriff. Diese Faktoren führen zu Interferenzen zwischen Domänen und verstärken das Problem des unausgewogenen Vergessens bei gleichzeitiger Erhaltung der Modellleistung.
