Delta Sampling: Datenlose Wissensübertragung zwischen Diffusionsmodellen

In der lebendigen Open‑Source‑Community von Diffusionsmodellen wie Stable Diffusion (SD) gibt es zahlreiche feinabgestimmte Checkpoints und effiziente Adapter wie LoRA, LyCORIS und ControlNet. Diese Komponenten sind jedoch eng an ein bestimmtes Basismodell gebunden, sodass sie bei einer Aktualisierung des Modells – etwa von SD 1.x auf SD 2.x – kaum wiederverwendbar bleiben. Der Grund liegt in den tiefgreifenden Änderungen der Modellparameter und der Architektur.

Die neue Methode Delta Sampling (DS) löst dieses Problem, indem sie Wissen zwischen Basismodellen unterschiedlicher Architektur überträgt, ohne dass auf die ursprünglichen Trainingsdaten zugegriffen werden muss. DS arbeitet ausschließlich im Inferenzmodus und nutzt die „Delta“, also die Differenz der Modellvorhersagen vor und nach der Anpassung eines Basismodells. Diese Delta‑Information steuert anschließend den Denoising‑Prozess des neuen Basismodells.

Durch umfangreiche Tests mit verschiedenen SD‑Versionen konnte gezeigt werden, dass DS konsistente Verbesserungen bei der Erzeugung gewünschter Effekte erzielt – sei es in Bezug auf visuelle Stile, semantische Konzepte oder strukturelle Details – und das unter unterschiedlichen Sampling‑Strategien. Damit bietet DS einen effektiven, plug‑and‑play‑Mechanismus für die Wissensübertragung in der diffusion‑basierten Bildsynthese.

Der zugehörige Code ist frei verfügbar unter https://github.com/Zhidong-Gao/DeltaSampling.