Gradient Ascent? Nicht mehr nötig – neue Methode für ML‑Unlearning

Im Zeitalter ethischer KI gewinnt das Konzept des Machine Unlearning immer mehr an Bedeutung. Ziel ist es, sensible, private oder urheberrechtlich geschützte Daten aus trainierten Modellen zu entfernen, ohne die Gesamtleistung zu beeinträchtigen.

Traditionell wird dafür Gradient Ascent (GA) eingesetzt, um die Wirkung des Trainings auf unerwünschte Daten umzukehren. Diese Vorgehensweise ist jedoch fehleranfällig: Sie kann zu einem katastrophalen Kollaps führen, bei dem das Modell seine Fähigkeit verliert, auch die übrigen Aufgaben zuverlässig zu lösen.

Die neue Methode setzt stattdessen auf Modell‑Extrapolation. Dabei wird ein Referenzmodell – das ursprüngliche Modell – als Ausgangspunkt genutzt. Zunächst wird ein Memorization‑Modell trainiert, das die unerwünschten Daten explizit lernt, während die Vorhersagen für die restlichen Daten unverändert bleiben. Anschließend wird das Memorization‑Modell extrapoliert zurück zum Referenzmodell, wodurch ein Forget‑Modell entsteht, ohne dass Gradient Ascent direkt angewendet werden muss.

Durch die Verwendung von Gradient Descent für das Memorization‑Modell bleibt der Lernprozess stabil und lässt sich leicht implementieren. Die Extrapolation sorgt dafür, dass das Modell im Hypothesenraum in die richtige Richtung bewegt wird, was zu einer verbesserten Unlearning‑Leistung führt.

Damit zeigt die Studie, dass Gradient Ascent nicht mehr zwingend erforderlich ist. Modell‑Extrapolation bietet einen robusteren, effizienteren Ansatz für Machine Unlearning und trägt damit zur sicheren und verantwortungsvollen Nutzung von KI bei.