Neue Methode: Soft Q-basierte Diffusion-Fine‑Tuning verbessert Bildgenerierung

Diffusionsmodelle sind bekannt für ihre Fähigkeit, hochwahrscheinliche Bilder zu erzeugen, stoßen jedoch häufig an die Grenzen, wenn sie an spezifische Zielsetzungen angepasst werden müssen. Traditionelle Feinabstimmungsansätze neigen dazu, die Belohnung zu stark zu optimieren, was zu künstlichen, wenig vielfältigen Ergebnissen führt.

Um diesem Problem entgegenzuwirken, wurde Soft Q-based Diffusion Finetuning (SQDF) entwickelt – ein neuartiges, KL-regularisiertes Reinforcement‑Learning-Verfahren. SQDF nutzt einen neuartigen, reparametrisierten Policy‑Gradient-Ansatz, der auf einer trainingsfreien, differenzierbaren Schätzung der Soft‑Q‑Funktion basiert. Dadurch kann die Belohnung effizienter und ohne Überoptimierung gesteuert werden.

Die Methode wird durch drei wesentliche Innovationen verstärkt: Erstens ein Diskontierungsfaktor, der die richtige Zuordnung von Belohnungen im Denoising-Prozess sicherstellt; zweitens die Einbindung von Konsistenzmodellen, die die Q‑Funktionsschätzungen verfeinern; und drittens ein Off‑Policy‑Replay‑Buffer, der die Abdeckung von Modusvielfalt verbessert und das Gleichgewicht zwischen Belohnung und Diversität steuert.

Experimentelle Ergebnisse zeigen, dass SQDF nicht nur höhere Zielbelohnungen erreicht, sondern gleichzeitig die Vielfalt der generierten Bilder erhält. In Online‑Black‑Box‑Optimierungen demonstriert die Methode eine hohe Stichproben­effizienz, während sie die Natürlichkeit und Vielfalt der Ausgaben beibehält.