DSL: Stochastische Lokalisierung steigert Effizienz bei NAR-Generierung

Eine neue Technik namens DSL (Discrete Stochastic Localization) verspricht, die Geschwindigkeit und Qualität von nicht-autoregressiven Textgeneratoren deutlich zu verbessern. Durch ein einziges, SNR-invariantes Denoiser-Modell, das über einen Kontinuum von Störungsstufen trainiert wird, kann die iterative Verfeinerung von Textentwürfen wesentlich effizienter gestaltet werden.

Traditionell reduzieren nicht-autoregressive (NAR) Modelle die Latenz, indem sie viele Tokens gleichzeitig vorhersagen. Ihre iterative Verfeinerung – wie sie bei Masked Diffusion Language Models (MDLMs) und Remasking-Samplern wie ReMDM eingesetzt wird – leidet jedoch häufig unter Fehlerakkumulation und einer Verschiebung der Verteilung, wenn selbst erzeugte Entwürfe weiter bearbeitet werden. DSL adressiert dieses Problem, indem es das Training selbst nutzt, um die Schritt-Effizienz zu erhöhen.

Das Kernkonzept von DSL besteht darin, einen einzigen Denoiser zu trainieren, der über alle Störungsstufen hinweg konsistent bleibt. Dadurch verbindet es die Zwischenstufen von verrauschten Entwürfen mit der maskenbasierten Endkorrektur in einem einzigen Diffusion Transformer. Auf dem OpenWebText-Datensatz führt das Feintuning von DSL zu erheblichen MAUVE-Verbesserungen bei niedrigen Schrittbudgets, übertrifft die MDLM+ReMDM-Baseline mit rund viermal weniger Denoiser-Berechnungen und erreicht bei höheren Budgets die Qualität autoregressiver Modelle.

Zusätzliche Analysen zeigen, dass DSL die Selbstkorrektur und die Unsicherheitskalibrierung deutlich verbessert. Das Ergebnis ist ein remasking-Prozess, der nicht nur schneller, sondern auch rechenintensiver effizienter ist – ein bedeutender Fortschritt für die praktische Anwendung von NAR-Generierung in Echtzeit- und ressourcenbeschränkten Szenarien.