Hopfield-Netzwerke verbinden Diffusion Guidance mit Anderson Acceleration

Ein neues Papier auf arXiv (2603.02531v1) legt einen grundlegenden Rahmen vor, der die bislang getrennten Ansätze der Diffusion‑Guidance und der Anderson‑Acceleration miteinander verknüpft. Dabei wird die Dynamik von Aufmerksamkeitsmechanismen als feste Punkt‑Iteration in modernen Hopfield‑Netzwerken modelliert.

Die weit verbreitete Classifier‑Free Guidance (CFG) hat die Bildqualität von Diffusionsmodellen stark verbessert, jedoch mit hohem Rechenaufwand und eingeschränkter Anwendbarkeit bei kompakten oder ein‑Schritt‑Modellen. Der Fokus der Forschung hat sich deshalb auf die Extrapolation im Aufmerksamkeitsraum verlagert, deren theoretische Grundlagen bislang unklar waren.

Das neue Konzept zeigt, dass die Aufmerksamkeits‑Extrapolation im Wesentlichen eine spezielle Form der Anderson‑Acceleration ist, angewendet auf die Hopfield‑Dynamik. Durch die Nutzung der schwachen Kontraktionseigenschaft entsteht ein stabiler und effizienter Optimierungsprozess.

Auf dieser Basis wird Geometry Aware Attention Guidance (GAG) vorgestellt. GAG zerlegt die Aufmerksamkeitsupdates in parallelle und orthogonale Komponenten zur Guidance‑Richtung, stabilisiert damit die Beschleunigung und maximiert die Guidance‑Effizienz. Der Ansatz ist plug‑and‑play und lässt sich nahtlos in bestehende Frameworks integrieren.

Ergebnisse zeigen, dass GAG die Generationsqualität signifikant steigert, während die Rechenkosten vergleichbar bleiben. Das Papier liefert damit einen wichtigen Schritt zur Vereinheitlichung von Guidance‑Methoden und beschleunigten Aufmerksamkeits‑Dynamiken in generativen Modellen.