Effiziente, flexible Diffusions‑Sprachmodelle ohne Masken – Deletion‑Insertion

In einem neuen Beitrag auf arXiv wird ein innovatives Sprachmodell vorgestellt, das die bisher üblichen Maskierungsverfahren in Diffusions‑Sprachmodellen (MDLMs) komplett ersetzt. Durch die Einführung von Deletion‑Insertion‑Diffusion (DID) werden Token‑Löschungen und -Einfügungen als diskrete Diffusionsprozesse modelliert, wodurch die Rechenlast drastisch reduziert wird.

Die Hauptvorteile von DID liegen in der Beseitigung zweier großer Engpässe: erstens werden die unnötigen Berechnungen an nicht-informativen Masken‑Tokens eliminiert, und zweitens entfällt die Belastung durch Tokens, die in variablen Längen‑Setups eingeführt werden. Dadurch arbeitet das Modell nicht nur schneller, sondern kann auch ohne feste Padding‑Längen mit variablen Sequenzen umgehen.

Ein weiteres Highlight ist die eingebaute Selbstkorrektur während der Generierung. Durch das Einfügen von Tokens kann das Modell die Positionen dynamisch anpassen, was die Qualität der erzeugten Texte verbessert. Für das Training nutzt DID einen score‑basierten Ansatz, bei dem Scores für Einfügeoperationen zugewiesen werden. Die daraus resultierenden Trainingsziele lassen sich effizient mit einem parallelisierten dynamischen Programmierungsalgorithmus lösen.

Experimentelle Ergebnisse zeigen, dass DID in festen und variablen Längen‑Szenarien die Leistung von MDLMs und bestehenden Einfüge‑Modellen übertrifft. Dabei werden nicht nur die Modellgenauigkeit und die Qualität der Stichproben verbessert, sondern auch die Trainings- und Inferenzgeschwindigkeit gesteigert – und das ohne zusätzliche Hyperparameter‑Feinabstimmung.