Leak@$k$: Unlearning lässt LLMs unter probabilistischer Decodierung nicht vergessen

Unlearning in großen Sprachmodellen ist entscheidend, um regulatorische Vorgaben zu erfüllen und ethische KI-Systeme zu bauen, die keine privaten, toxischen, illegalen oder urheberrechtlich geschützten Inhalte erzeugen.

In einer neuen Untersuchung wird gezeigt, dass nahezu alle derzeitigen Unlearning‑Methoden in der Praxis nicht zu echtem Vergessen führen. Während Tests mit deterministischer (greedy) Decodierung häufig den Eindruck erwecken, das Wissen sei erfolgreich entfernt, taucht bei probabilistischer Decodierung sensible Information zuverlässig wieder auf.

Um diese Schwachstelle präzise zu messen, wurde die neue Metrik leak@$k$ entwickelt. Sie quantifiziert die Wahrscheinlichkeit, dass vergessene Inhalte wieder auftauchen, wenn ein Modell k Stichproben unter realistischen Decodierungsstrategien erzeugt.

Mit den drei weit verbreiteten Benchmarks TOFU, MUSE und WMDP wurde ein umfassendes, systematisches Experiment durchgeführt – das erste seiner Art, das die Zuverlässigkeit von Unlearning anhand von leak@$k$ bewertet.

Die Ergebnisse zeigen, dass Wissenslecks über alle getesteten Methoden und Aufgaben hinweg bestehen bleiben. Damit wird deutlich, dass die aktuellen Spitzenansätze im Unlearning nur begrenztes Vergessen ermöglichen und ein dringender Bedarf an robusteren Verfahren besteht.