Kontinuierliches Unlernen bei Text‑zu‑Bild‑Diffusion: Regulierung als Schlüssel
Die Fähigkeit, gezielt Konzepte aus vortrainierten Modellen zu entfernen, hat sich in den letzten Jahren besonders bei Text‑zu‑Bild‑Diffusionen rasant entwickelt. Bisher wurden jedoch meist alle Unlern‑Anfragen gleichzeitig angenommen, während in der Praxis neue Anfragen nacheinander eintreffen. In dieser ersten systematischen Untersuchung wird das Problem des kontinuierlichen Unlernens bei Diffusionsmodellen eingehend analysiert.
Die Ergebnisse zeigen, dass gängige Unlern‑Methoden nach nur wenigen Anfragen einen raschen Verlust an Modell‑Utility aufweisen: die Modelle vergessen bereits erhaltene Kenntnisse und erzeugen abnehmend qualitativ hochwertige Bilder. Die Ursache liegt in kumulativen Parameter‑Drift‑Effekten, die sich von den ursprünglichen Pre‑Training‑Gewichten entfernen. Hier wird deutlich, dass Regulierung ein entscheidender Ansatz ist, um diesen Drift zu begrenzen.
Um dem entgegenzuwirken, wurden verschiedene Zusatz‑Regulierungs‑Strategien evaluiert, die sowohl den Drift reduzieren als auch mit bestehenden Unlern‑Methoden kompatibel bleiben. Besonders hervorzuheben ist die Einführung eines semantisch bewussten Gradient‑Projection‑Verfahrens, das die Parameter‑Änderungen orthogonal zum Subraum des zu entfernenden Konzepts einschränkt. Diese Technik verbessert die kontinuierliche Unlern‑Leistung signifikant und lässt sich zudem mit anderen Regularisierern kombinieren, um weitere Fortschritte zu erzielen.
Zusammenfassend unterstreicht die Studie, dass kontinuierliches Unlernen ein zentrales Problem für die sichere und verantwortungsvolle Nutzung von generativen KI‑Systemen darstellt. Sie liefert neue Erkenntnisse, Basislinien und offene Forschungsfragen, die den Weg für zukünftige Entwicklungen in diesem Bereich ebnen.