Stochastisches Gradient Descent: Neue Unlearning-Methoden D2D und R2D

In der KI-Welt gewinnt das Konzept des Machine Unlearning immer mehr an Bedeutung: Unternehmen wollen gezielt den Einfluss bestimmter Trainingsdaten aus einem Modell entfernen, ohne das gesamte Modell neu zu trainieren. Zwei vielversprechende Ansätze, die dabei besonders leicht umzusetzen sind, heißen „Descent-to-Delete“ (D2D) und „Rewind-to-Delete“ (R2D). Beide nutzen vollständige Batch‑Gradientenabstiegsverfahren und bieten nachweisbare Unlearning‑Garantie.

Bislang wurde die stochastische Variante von D2D häufig als Standard‑Fine‑Tuning‑Baseline eingesetzt, obwohl ihre theoretische Basis bei nichtkonvexen Verlustfunktionen unklar war. In der aktuellen Studie wurden nun für die stochastischen Versionen von D2D und R2D (ε, δ)-zertifizierte Unlearning‑Garantie für stark konvexe, konvexe und nichtkonvexe Verlustfunktionen nachgewiesen. Die Autoren analysieren das Unlearning als ein verzerrtes oder bias‑behaftetes Gradientsystem, das je nach Verlustfunktion kontrahierend, semi‑kontrahierend oder expansiv sein kann.

Durch die optimale Kopplung der zufälligen Abläufe von Unlearning und Retraining wird ein probabilistisches Sensitivitätsmaß ermittelt, das in Kombination mit einer neu entwickelten, relaxierten Gauß‑Mechanik zu (ε, δ)-Unlearning führt. Für stark konvexe Funktionen liefert D2D dank der Kontraktion auf ein eindeutiges globales Minimum engere Garantien als R2D. Im Gegensatz dazu kann R2D in konvexen und nichtkonvexen Szenarien erfolgreich Unlearning erreichen, indem es das unlearned Modell durch Umkehrung der akkumulierten Störungen näher an das retrained Modell bringt.