WavefrontDiffusion: Dynamische Decodierung steigert Sprachmodell-Performance

Die neuesten Fortschritte bei Diffusion Language Models (DLMs) zeigen, dass die Art und Weise, wie Rauschen entfernt wird, entscheidend für die Qualität der generierten Texte ist. Traditionelle Ansätze wie Standard Diffusion und BlockDiffusion haben zwar bereits beeindruckende Ergebnisse erzielt, stoßen jedoch bei komplexen Aufgaben wie logischem Denken und Codegenerierung an ihre Grenzen.

Standard Diffusion arbeitet global und kann dadurch unvollständige Kontexte abschließen, was zu vorzeitigen End-of-Sequence-Vorhersagen führt. BlockDiffusion dagegen aktualisiert feste Blockgrößen in einer vorgegebenen Reihenfolge, was die Kohärenz semantischer Einheiten unterbrechen kann. Beide Methoden sind zwar effizient, aber nicht optimal für die dynamische Strukturierung von Texten.

Die neue Technik WavefrontDiffusion löst diese Probleme, indem sie einen sich ausbreitenden „Wellenfront“-Ansatz nutzt. Dabei werden aktive Tokens von bereits finalisierten Positionen aus nach außen erweitert, sodass die Decodierung dem natürlichen semantischen Fluss folgt. Trotz dieser Anpassungen bleibt die Rechenkomplexität gleichwertig zu blockbasierten Verfahren.

In vier anspruchsvollen Benchmarks für logisches Denken und Codegenerierung erzielt WavefrontDiffusion bislang die bestmögliche Leistung. Die erzeugten Texte weisen zudem eine höhere semantische Treue auf, was die Bedeutung adaptiver Decodierungspläne für eine kohärentere und effizientere Textgenerierung unterstreicht.