KLASS: Schnelle, KL-gesteuerte Inferenz in Maskierten Diffusionsmodellen

Maskierte Diffusionsmodelle haben in den letzten Jahren beeindruckende Ergebnisse bei Aufgaben wie der Textgenerierung erzielt. Trotz ihrer Leistungsfähigkeit bleibt die iterative Verfeinerung ein Engpass, denn die Samplinggeschwindigkeit ist häufig langsam und statisch.

Um dieses Problem zu lösen, wurde KLASS – „KL-Adaptive Stability Sampling“ – entwickelt. Die Methode nutzt die token‑weise KL‑Divergenz, um stabile, hochzuverlässige Vorhersagen zu erkennen. Auf dieser Basis werden in jeder Iteration mehrere Tokens gleichzeitig freigelegt, ohne dass zusätzliche Modelltrainings erforderlich sind. Dadurch wird die Generierung deutlich beschleunigt, während die Qualität der Samples erhalten bleibt.

In Benchmark‑Tests für logisches Denken konnte KLASS bis zu 2,78‑fach schnellere Wall‑Clock‑Zeit erreichen und gleichzeitig die Leistung gegenüber herkömmlichem greedy Decoding verbessern. Damit erzielt es den besten Stand unter allen diffusion‑basierten Samplern. Darüber hinaus wurde die Methode erfolgreich in verschiedenen Domänen – Text, Bild und Molekül‑Generierung – eingesetzt, was ihre breite Anwendbarkeit unterstreicht.