LLM-Unlearning: EAGLE‑PC verhindert Über‑ und Untervergessen

Moderne Sprachmodelle werden mit riesigen Datensätzen trainiert, die häufig private oder urheberrechtlich geschützte Inhalte enthalten. Angesichts wachsender Datenschutz‑ und Eigentumsbedenken fordern Eigentümer nun die Entfernung ihrer Daten aus den Modellen. Machine‑Unlearning bietet hier eine praktikable Lösung, indem es den Einfluss einzelner Datenpunkte ohne vollständiges Retraining eliminiert.

Die meisten bisherigen Verfahren erreichen jedoch keine klare Grenze zwischen „vergessen“ und „behalten“. Einige Beispiele werden zu wenig gelöscht, was ein Leckrisiko birgt, während andere zu stark entfernt werden und die Nützlichkeit des Modells beeinträchtigen. EAGLE‑PC (Entanglement‑Awareness Guided Loss Reweighting with Proxy Constraint) löst dieses Problem mit zwei Schlüsselelementen: Erstens gewichtet ein entanglement‑bewusstes Verfahren den Verlust je nach Ähnlichkeit eines Samples zu den zu behaltenden Daten im Einbettungsraum, sodass das Unlearning gezielter erfolgt. Zweitens reguliert eine Proxy‑Beschränkung, die auf In‑Context‑Learning‑generierten Testdaten basiert, den Prozess sanft und verhindert Übervergessen.

Die Methode ist als Plug‑and‑Play-Erweiterung für bestehende gradientenbasierte Ziele konzipiert und wurde auf den Benchmarks TOFU und MUSE getestet. Dabei erzielte EAGLE‑PC konsequente Verbesserungen im Trade‑off zwischen Vergessen und Nutzen bei verschiedenen LLM‑Modellen. In Kombination mit dem Optimierer NPO+GD nähert es die Leistung eines vollständigen Retrainings an, was EAGLE‑PC zu einer skalierbaren und robusten Lösung für das Unlearning von Sprachmodellen macht.