Schnelle Konvergenzraten bei Maskierten Diffusionsmodellen

Diskrete Diffusionsmodelle haben in den letzten Jahren bemerkenswerte Erfolge in Text- und Symbolverarbeitungsaufgaben erzielt. Besonders die maskierten Varianten, die eine absorbierende Rate nutzen, haben sich als starke Konkurrenten zu autoregressiven Modellen etabliert.

Unter den verfügbaren Samplern bleibt die Euler-Methode bis heute die bevorzugte Wahl, während der First‑Hitting Sampler (FHS) kürzlich vielversprechende Ergebnisse für maskierte Diffusionsmodelle geliefert hat. Trotz ihrer praktischen Wirksamkeit fehlt bislang ein tiefgehendes theoretisches Verständnis dieser Verfahren. Bisherige Analysen stützen sich auf die Kullback‑Leibler‑Divergenz, was zu lockeren Parameterabhängigkeiten und strengen Annahmen über die Score‑Schätzung führt.

Die neue Studie präsentiert eine direkte Analyse in Totalvariation (TV), die diese Einschränkungen überwindet. Für die Euler‑Methode werden nun strengere Voraussetzungen für die Score‑Schätzung aufgehoben, die Abhängigkeiten von Parametern verbessert und Konvergenzgarantien ohne jegliche Surrogatinitialisierung etabliert. Zusätzlich liefert die Arbeit die erste Konvergenzuntergrenze für den Euler‑Sampler, die sowohl die Daten­dimension als auch die Zielgenauigkeit exakt widerspiegelt.

Für den FHS‑Sampler zeigt die Untersuchung, dass keine zusätzlichen Sampling‑Fehler entstehen, abgesehen von denen, die durch die Score‑Schätzung verursacht werden. Diese Fehlergrenze ist mit einer passenden unteren Schranke identisch, was die Tightness der Analyse bestätigt. Insgesamt liefert die Arbeit eine neue TV‑basierte Fehlerzerlegung entlang der CTMC‑Trajektorie und eröffnet damit einen klaren Weg zur Bewertung und Optimierung von Diffusionssamplern in maskierten Modellen.