Neue Methode: Discrete Feynman-Kac Correctors verbessern Diffusionsmodelle

Diskrete Diffusionsmodelle haben sich als vielversprechende Alternative zu autoregressiven Ansätzen etabliert, um diskrete Sequenzen zu generieren. Durch schrittweises Denoising oder Masking können sie hierarchische, nicht-sequenzielle Abhängigkeiten im Datenraum erfassen.

Ein Problem dieser Verfahren ist jedoch die fehlende Möglichkeit, die Verteilung der erzeugten Samples flexibel zu steuern. Das neue Konzept der Discrete Feynman-Kac Correctors löst dieses Problem, indem es die Kontrolle über die Ausgabeverteilung während der Inferenz ermöglicht, ohne dass zusätzliche Modelle trainiert oder das ursprüngliche Modell feinabgestimmt werden muss.

Die Autoren entwickeln dafür Sequential Monte Carlo (SMC)-Algorithmen, die mehrere Funktionen kombinieren: Sie können die Temperatur der Stichprobenverteilung anpassen (Annealing), aus dem Produkt der Randverteilungen mehrerer Diffusionsprozesse ziehen und zusätzlich eine externe Belohnungsfunktion einbeziehen. Dadurch entstehen Samples, die nicht nur der Zielverteilung entsprechen, sondern auch hohe Belohnungen erzielen.

Die Vielseitigkeit des Ansatzes wird in verschiedenen Anwendungsfällen demonstriert: effizientes Sampling der annealed Boltzmann-Verteilung des Ising-Modells, Leistungsverbesserungen bei Sprachmodellen für die Codegenerierung und beim amortisierten Lernen sowie belohnungsorientierte Proteinsequenzgenerierung.

Insgesamt erweitert das Framework die Flexibilität diskreter Diffusionsmodelle erheblich, indem es gezieltes Sampling ohne zusätzliche Trainingsschritte ermöglicht und damit neue Einsatzmöglichkeiten in der generativen Modellierung eröffnet.