Reweighting in Diffusion-Modellen: Bessere Variationsschätzungen

Ein neues arXiv‑Paper liefert eine klare theoretische Erklärung für die weit verbreiteten Reweighting‑Verluste, die beim Training von Diffusionsmodellen eingesetzt werden. Durch die Konstruktion einer Kaskade zeitabhängiger variationaler Untergrenzen für die Datenlog‑Likelihood wird das klassische Evidence Lower Bound (ELBO) systematisch verbessert und die KL‑Divergenz zwischen Daten und Modell reduziert.

Die daraus abgeleiteten Reweighting‑Ziele lassen sich auf sämtliche generative Diffusionsmodelle anwenden – von kontinuierlichen Gauß‑Diffusionen bis hin zu maskierten (diskreten) Diffusionen. In einem konkreten Beispiel mit maskierter Diffusion zeigen die Autoren signifikante Fortschritte gegenüber bisherigen Trainingsverlusten im Pixel‑Raum. Die Bildqualität nähert sich dabei derjenigen kontinuierlicher Diffusionsmodelle an.

Darüber hinaus liefert die Arbeit eine theoretische Rechtfertigung für das einfache Gewichtungsschema, das in vielen maskierten Bildmodellen üblich ist. Diese Erkenntnisse eröffnen neue Möglichkeiten, Diffusionsmodelle effizienter und genauer zu trainieren.