DeRaDiff: Echtzeit-Anpassung von Diffusionsmodellen für bessere Bildqualität
In der Welt der Diffusionsmodelle ist die Abstimmung auf menschliche Vorlieben ein zentrales Ziel, um die Ästhetik zu steigern und unerwünschte Artefakte zu reduzieren. Dabei wird häufig die Kullback‑Leibler‑Regulierung eingesetzt, doch die Wahl der richtigen Stärke bleibt ein kniffliges Problem: Zu stark führt zu wenig Anpassung, zu schwach kann das Modell „Reward‑Hacking“ betreiben. Traditionell werden mehrere Modelle mit unterschiedlichen Regularisierungswerten trainiert und anschließend der beste ausgewählt – ein Prozess, der enorme Rechenressourcen erfordert.
DeRaDiff löst dieses Problem elegant: Nach einer einmaligen Ausrichtung des vortrainierten Modells wird die Regularisierungsstärke während des Samplings dynamisch über einen einzigen Parameter, λ, gesteuert. Durch die Ersetzung der Rückwärtsschritt‑Verteilung durch eine geometrische Mischung aus der angepassten und der Referenz‑Posterior erhält man eine geschlossene Update‑Formel, die mit gängigen Scheduler‑Strategien kompatibel ist. So kann das Modell während der Bildgenerierung wie ein Modell mit beliebiger Regularisierungsstärke agieren, ohne dass zusätzliche Trainingsschritte nötig sind.
Experimentelle Ergebnisse zeigen, dass DeRaDiff bei einer Vielzahl von Text‑zu‑Bild‑Aufgaben die Bildqualität verbessert und gleichzeitig die Effizienz steigert. Die Methode erweitert das Konzept der decoding‑time‑Realignment von Sprachmodellen auf Diffusionsmodelle und bietet damit einen praktischen, ressourcenschonenden Ansatz für die Feinabstimmung von generativen KI‑Systemen.