Neue Messgröße für KI‑Unlearning deckt Lücken offener Modelle auf

Aktuelle Kennzahlen zur Bewertung von KI‑Unlearning prüfen, ob ein Modell auf Basis von Referenzantworten oder Klassifikator‑Ausgaben „vergessen“ hat. Diese Vorgehensweise lässt jedoch systematische Blindstellen entstehen: Modelle können scheinbar erfolgreich sein, behalten aber unerwünschtes Wissen, das über alternative Eingaben oder Angriffe zugänglich bleibt.

Um diese Schwächen zu beheben, wurde die neue Metrik Functional Alignment for Distributional Equivalence (FADE) entwickelt. FADE vergleicht die bidirektionale Wahrscheinlichkeitsverteilung von generierten Samples zwischen dem unlearned Modell und einem Referenzmodell. Dadurch wird die funktionale Ausrichtung über die gesamte Ausgabedichte hinweg gemessen, statt sich auf vorab festgelegte Referenzen zu stützen.

In Experimenten mit dem TOFU‑Benchmark für LLM‑Unlearning und dem UnlearnCanvas‑Benchmark für Text‑zu‑Bild‑Diffusionsmodelle zeigte sich, dass Methoden, die auf traditionellen Metriken nahezu optimale Ergebnisse erzielen, in Bezug auf FADE weit von der gewünschten Verteilungssymmetrie entfernt sind. Viele Modelle wurden sogar noch weiter vom Goldstandard entfernt, nachdem sie „vergessen“ wurden.

Diese Erkenntnisse legen die fundamentalen Lücken in den derzeitigen Evaluationspraktiken offen und demonstrieren, dass FADE eine robustere Grundlage bietet, um echte Unlearning‑Methoden zu entwickeln und zu bewerten.