COVER: Schnellere Diffusion mit kontextbewusster Verifikation

Die Parallelisierung von Diffusionsmodellen kann die Inferenzgeschwindigkeit erheblich steigern, indem mehrere Tokens gleichzeitig entschlüsselt werden. In der Praxis führt diese aggressive Parallelität jedoch häufig zu Qualitätsverlusten. Revocable Decoding versucht, das Problem zu lösen, indem frühere Tokens erneut überprüft werden. Dabei treten jedoch sogenannte Flip‑Flop‑Oszillationen auf: Tokens werden wieder maskiert und später unverändert zurückgesetzt, was die Effizienz stark beeinträchtigt.

Diese Oszillationen haben zwei negative Auswirkungen: Erstens schwächt das erneute Maskieren der verifizierten Positionen die Kontextbedingungen für die parallele Drafting‑Phase, und zweitens verbraucht die wiederholte Maskierung den Revision‑Budget ohne nennenswerten Fortschritt. Das Ergebnis ist eine langsame und ressourcenintensive Inferenz.

Um diese Probleme zu beheben, stellt das neue Verfahren COVER (Cache Override Verification for Efficient Revision) vor. COVER führt eine Leave‑One‑Out‑Verifikation und ein stabiles Drafting in einem einzigen Vorwärtspass durch. Dabei werden zwei Aufmerksamkeitsansichten erzeugt: Die ausgewählten Seeds werden für die Verifikation maskiert, während ihre im KV‑Cache gespeicherten Key‑Value‑Zustände für alle anderen Queries injiziert werden, um den Kontext zu erhalten. Eine geschlossene diagonale Korrektur verhindert dabei Selbstlecks an den Seed‑Positionen.

Zusätzlich priorisiert COVER die Seeds mithilfe eines stabilitätsbewussten Scores, der Unsicherheit, downstream‑Einfluss und Cache‑Drift berücksichtigt, und passt die Anzahl der verifizierten Seeds pro Schritt dynamisch an. Benchmark‑Tests zeigen, dass COVER unnötige Revisionen deutlich reduziert, die Decodierung beschleunigt und gleichzeitig die Ausgabequalität beibehält.