ScaPre: Effizientes Konzept‑Vergessen in Diffusionsmodellen

Text‑zu‑Bild‑Diffusionsmodelle haben in den letzten Jahren enorme Fortschritte erzielt, doch ihre Nutzung wirft gleichzeitig Fragen zu Urheberrecht und Missbrauch auf. Diese Bedenken haben die Forschung zu maschinellem Unlearning angetrieben, wobei das Ziel darin besteht, bestimmte Konzepte aus einem bereits trainierten Modell zu entfernen, ohne die generelle Qualität zu beeinträchtigen.

Die Herausforderung, mehrere Konzepte gleichzeitig zu vergessen, ist jedoch komplex. Drei Hauptprobleme erschweren die Skalierung: Erstens können widersprüchliche Gewichtungsupdates das Vergessen behindern oder die Bildqualität verschlechtern. Zweitens führen unpräzise Mechanismen häufig zu Nebenschäden bei ähnlichen Inhalten. Drittens setzen viele Ansätze auf zusätzliche Daten oder Module, was die Skalierbarkeit stark einschränkt.

Um diese Hindernisse zu überwinden, wurde ScaPre – ein skalierbares und präzises Konzept‑Unlearning‑Framework – entwickelt. ScaPre nutzt einen konfliktbewussten, stabilen Ansatz, der spektrale Trace‑Regulierung und geometrische Ausrichtung kombiniert, um die Optimierung zu stabilisieren, Konflikte zu reduzieren und die globale Struktur zu bewahren. Ein Informax‑Decoupler identifiziert gezielt die für ein bestimmtes Konzept relevanten Parameter und gewichtet die Updates adaptiv, sodass das Vergessen strikt auf den gewünschten Unterraum beschränkt bleibt. Das Ergebnis ist eine effiziente, geschlossene Lösung, die keine zusätzlichen Daten oder Untermodelle erfordert.

Umfangreiche Experimente mit Objekten, Stilen und expliziten Inhalten zeigen, dass ScaPre die Zielkonzepte zuverlässig entfernt und gleichzeitig die Bildqualität erhält. Im Vergleich zu den besten Baselines kann ScaPre bis zu fünfmal mehr Konzepte vergessen, ohne die akzeptablen Qualitätsgrenzen zu überschreiten. Damit setzt es neue Maßstäbe in Bezug auf Präzision und Effizienz beim groß angelegten Konzept‑Unlearning.