Training-freie Anpassung von Diffusionsmodellen mit Doob's h-Transform

Die Anpassung von vortrainierten Diffusionsmodellen ist ein zentrales Thema, um deren Potenzial in vielfältigen Anwendungen zu entfalten. Traditionelle Ansätze formulieren Anpassungsziele häufig als Belohnungsfunktion und steuern die Modelle, um hochbelohnende Proben zu erzeugen. Diese Verfahren erfordern jedoch oft zusätzliche Trainingsschritte, sind rechenintensiv und setzen strenge Voraussetzungen wie Differenzierbarkeit der Belohnung voraus.

In der vorliegenden Arbeit wird DOIT (Doob-Oriented Inference-time Transformation) vorgestellt – ein völlig trainingsfreier und recheneffizienter Ansatz, der für beliebige, nicht differenzierbare Belohnungen funktioniert. DOIT nutzt eine Maßtransportformulierung, um die generative Verteilung des vortrainierten Modells in eine hochbelohnende Zielverteilung zu überführen. Durch die Anwendung von Doob's h-Transform wird eine dynamische Korrektur im Diffusionssampling realisiert, die eine effiziente simulationsbasierte Berechnung ermöglicht, ohne das ursprüngliche Modell zu verändern.

Die Autoren liefern eine theoretische Konvergenzgarantie, die zeigt, dass die Methode mit hoher Wahrscheinlichkeit die Zielverteilung erreicht, indem sie die Approximation des dynamischen Doob'schen Korrekturterms charakterisiert. Praktisch demonstriert DOIT auf den D4RL-Offline-RL-Benchmarks eine konsequente Überlegenheit gegenüber aktuellen Baselines, während die Sampling-Effizienz erhalten bleibt.