CAPTAIN: Neue Technik reduziert Memorieren in Text‑zu‑Bild‑Diffusion

Diffusionsmodelle können unbeabsichtigt Trainingsbeispiele wiedergeben, was Bedenken hinsichtlich Datenschutz und Urheberrecht aufwirft. Diese Systeme werden zunehmend in großem Maßstab eingesetzt, sodass das Problem besonders relevant ist.

Aktuelle Methoden zur Reduzierung von Memorierung wirken sich oft negativ auf die Übereinstimmung mit dem Eingabe‑Prompt aus, weil sie entweder die classifier‑free guidance (CFG) manipulieren oder die Prompt‑Embeddings stören.

CAPTAIN ist ein trainingsfreies Verfahren, das die latenten Features während des Denoising‑Prozesses direkt anpasst. Durch eine frequenzbasierte Rauschinitialisierung wird die Neigung, frühzeitig memorierte Muster zu replizieren, bereits im Anfangsstadium reduziert.

Anschließend identifiziert CAPTAIN die optimalen Denoising‑Zeitpunkte für die Feature‑Injektion und lokalisiert die memorierten Regionen. In diesen Bereichen werden semantisch abgestimmte Features aus nicht‑memorierten Referenzbildern eingefügt, wodurch die Memorierung unterdrückt und gleichzeitig die Prompt‑Treue sowie die Bildqualität erhalten bleiben.

Experimentelle Ergebnisse zeigen, dass CAPTAIN die Memorierung im Vergleich zu CFG‑basierten Baselines deutlich verringert, ohne die Ausrichtung auf den gewünschten Prompt zu beeinträchtigen. Die Technik bietet damit einen vielversprechenden Ansatz, um die Privatsphäre und Urheberrechte in Text‑zu‑Bild‑Diffusionen zu schützen.