Variationsinferenz verbessert parallele Token‑Generierung bei MDMs

Maskierte diskrete Diffusionsmodelle (MDMs) ermöglichen die gleichzeitige Erzeugung mehrerer Tokens und bieten damit eine vielversprechende Alternative zu autoregressiven Ansätzen. Durch die Parallelität steigt die Effizienz, doch die Herausforderung besteht darin, die Balance zwischen schneller Generierung und hoher Sample‑Qualität zu finden.

Derzeit greifen die meisten Verfahren auf feste, heuristische Sampling‑Methoden zurück. Einige Lernansätze wurden bereits entwickelt, jedoch bleibt die Formulierung aus Sicht der Variationsinferenz weitgehend unerforscht. In der vorliegenden Arbeit wird ein neues Framework vorgestellt, das die Lernphase der Generation‑Reihenfolge mittels Variationsinferenz optimiert.

Das vorgeschlagene Verfahren nutzt eine spezielle Parameterisierung der approximativen Posterior-Verteilung für die Generation‑Reihenfolge. Diese Struktur ermöglicht nicht nur parallele Verarbeitung, sondern auch effizientes Sampling während des Trainings. Durch die Kombination von Variationsinferenz und gezielter Posterior‑Modellierung wird die Lernkurve für die Reihenfolge der Token‑Generierung deutlich beschleunigt.

In ersten Experimenten auf dem GSM8K‑Datensatz erzielte das Modell eine Genauigkeit von 33,1 % bei durchschnittlich nur vier Generation‑Schritten. Im Vergleich dazu liegen die Standard‑Methoden in derselben Schrittzahl bei 23,7 % bis 29,0 %. Diese Ergebnisse zeigen, dass die variationalen Lernansätze die Effizienz von MDMs signifikant steigern können.

Die Autoren betonen, dass weitere Experimente und Analysen zusätzliche Erkenntnisse über die optimale Parallelisierung von MDMs liefern werden. Die vorgestellte Methode eröffnet damit neue Perspektiven für die Entwicklung schnellerer und qualitativ hochwertiger generativer Modelle.