Diskrete Diffusionsmodelle: Konvergenz garantiert – Maskierung & Zufallswalk

In einer wegweisenden Studie wurden die theoretischen Grundlagen diskreter Diffusionsmodelle (DDMs) auf diskreten Zustandsräumen systematisch untersucht. Während kontinuierliche Modelle bereits seit Jahren gut verstanden sind, stellen diskrete Strukturen neue Herausforderungen dar – vor allem wegen ihrer kombinatorischen Komplexität und fehlender rigoroser Analysen.

Die Forscher haben nun Konvergenzgarantien für DDMs sowohl im endlichen Raum \(\mathbb{Z}^d_m=\{0,\dots,m-1\}^d\) als auch im abzählbar unendlichen Raum \(\mathbb{N}^d\) unter milden Annahmen erbracht. Der Fokus lag dabei auf vorwärtsgerichteten Maskierungs- und Random-Walk-Dynamiken. Im Rückwärtsprozess spielt eine diskrete Score-Funktion eine zentrale Rolle; ihre Monotonie ermöglicht die Ableitung präziser Fehlergrenzen für die generierten Daten.

Ein besonders bemerkenswertes Ergebnis ist die lineare bis logarithmisch lineare Skalierbarkeit der Modellkomplexität in Bezug auf die Dimension – ein deutlicher Fortschritt gegenüber exponentiellen Kosten. Damit eröffnet die Arbeit die erste nicht-asymptotische Konvergenzgarantie, die nicht auf die Beschränktheit des geschätzten Scores angewiesen ist und sowohl uniforme Rauschprozesse auf \(\mathbb{Z}^d_m\) und \(\mathbb{N}^d\) als auch maskierungsbasierte Rauschdynamiken abdeckt.