REBEL: Evolutionäre Methode entdeckt versteckte Wissensreste in LLMs

Die Forschung zum „Machine Unlearning“ für große Sprachmodelle (LLMs) hat ein neues Problem ans Licht gebracht: Die gängigen Evaluationsmetriken, die auf einfachen, harmlosen Abfragen basieren, können oft nur oberflächliche Informationsreduktionen erkennen. Dadurch bleibt unklar, ob sensible oder urheberrechtlich geschützte Daten tatsächlich aus dem Modell entfernt wurden.

Um diese Lücke zu schließen, präsentiert das Team hinter REBEL einen evolutionären Ansatz zur Erzeugung von adversarial Prompts. Durch gezielte Optimierung werden Fragen generiert, die das Modell dazu bringen, zuvor „vergessen“ gelassene Informationen preiszugeben. Diese Methode prüft, ob die Daten wirklich gelöscht wurden oder lediglich schwerer zugänglich sind.

Die Experimente zeigen eindrucksvoll, dass REBEL die Grenzen herkömmlicher Unlearning-Methoden aufzeigt. Auf den Benchmark-Sätzen TOFU und WMDP erreichte REBEL Attack Success Rates (ASRs) von bis zu 60 % bzw. 93 %. Damit wird deutlich, dass viele aktuelle Verfahren nur eine oberflächliche Schutzschicht bieten, während REBEL tiefer liegende Wissensreste aufdeckt.

Der komplette Code und die Reproduktionsdaten werden nach der Veröffentlichung öffentlich zugänglich gemacht. Weitere Informationen und den Quellcode finden Sie unter https://github.com/patryk-rybak/REBEL/.