Modernes Hopfield-Netzwerk verbessert Transformer durch versteckte Zustände

In einer kürzlich veröffentlichten Studie auf arXiv (2511.20698v1) wird gezeigt, dass die versteckten Zustände moderner Hopfield‑Netzwerke (MHN) die Leistungsfähigkeit von Transformer‑Modellen deutlich steigern können. Durch die Integration dieser Zustände in die Selbstaufmerksamkeit entsteht ein neuer Mechanismus, der als Modern Hopfield Attention (MHA) bezeichnet wird.

MHA erweitert die klassische Key‑Value‑Aufmerksamkeit um eine zusätzliche Variable, die aus dem MHN abgeleitet wird. Dadurch können die Aufmerksamkeitswerte, die im Eingangs‑Layer des Transformers entstehen, bis zum Ausgangs‑Layer übertragen werden. Das Ergebnis ist eine stabilere Gewichtungsverteilung, die das Phänomen des „Rank Collapse“ – also die starke Reduktion der Rangdimension in tiefen Transformer‑Schichten – sowie die Token‑Uniformität, bei der unterschiedliche Tokens zu ähnlichen Gewichtungen führen, deutlich reduziert.

Die Autoren demonstrieren sowohl theoretisch als auch empirisch, dass die Verwendung von MHA‑Zuständen die Genauigkeit von Vision‑Transformern und GPT‑Modellen verbessert, ohne dass zusätzliche Trainingsparameter eingeführt werden müssen. Damit liefert die Arbeit einen überzeugenden Beleg dafür, dass Hopfield‑Netzwerke nicht nur als theoretisches Modell, sondern auch als praktisches Werkzeug zur Optimierung moderner Transformer‑Architekturen dienen können.