Diffusion-Modelle ohne Faktorierungsbarriere: CoDD revolutioniert Textgenerierung

Diffusion‑Sprachmodelle versprechen schnelle, parallele Textgenerierung, doch ein theoretisches Hindernis – die „Faktorierungsbarriere“ – verhindert die volle Ausnutzung dieses Potenzials. Dabei wird angenommen, dass gleichzeitig vorhergesagte Tokens unabhängig voneinander sind. Diese Annahme zwingt Modelle dazu, entweder langsamer zu arbeiten, indem sie Abhängigkeiten sequentiell lösen, oder unzusammenhängende Ergebnisse zu liefern.

Die Autoren zeigen, dass das Problem nicht an der Kapazität der Transformer‑Architektur liegt, sondern an einer strukturellen Fehlannahme: Modelle sind auf vollständig faktorisierte Ausgaben beschränkt, weil die explizite Modellierung einer gemeinsamen Verteilung zu viele Parameter erfordern würde. Um diese Beschränkung zu überwinden, stellen sie Coupled Discrete Diffusion (CoDD) vor – ein hybrides Framework, das die vollständig faktorisierte Ausgabe durch eine leichte, aber leistungsfähige probabilistische Inferenzschicht ersetzt.

CoDD erweitert die Ausdrucksfähigkeit der Verteilung erheblich, ohne die Parameterzahl in astronomische Größen zu treiben. In Experimenten verbessert CoDD verschiedene Diffusion‑Sprachmodelle mit minimalem Overhead, erreicht die Leistungsfähigkeit von rechenintensiven Reinforcement‑Learning‑Baselines und senkt gleichzeitig die Trainingskosten deutlich. Zudem verhindert es den Leistungsabfall bei wenigen Generierungsschritten, sodass qualitativ hochwertige Texte in deutlich kürzeren Latenzen erzeugt werden können.

Der zugehörige Code ist öffentlich verfügbar, sodass Forscher und Entwickler die Methode sofort in ihre Projekte integrieren können.