Transformers, Diffusion-Maps & Magnetische Laplacien: gemeinsames Markov-Framework

In einer kürzlich veröffentlichten Arbeit auf arXiv (2604.09560v1) zeigen die Autoren, dass die bislang als getrennte Werkzeuge betrachteten Konzepte – Transformer‑Aufmerksamkeit, Diffusion‑Maps und magnetische Laplacien – tatsächlich unterschiedliche Regime eines einzigen Markov‑Geometrie‑Modells darstellen. Das Modell basiert auf den Vor‑Softmax‑Abfrage‑Scores, die als Ausgangspunkt für die gesamte Analyse dienen.

Ein zentrales Element der Studie ist die Einführung einer sogenannten „Bidivergenz“ für die Q‑ und K‑Vektoren. Durch Exponentiation und anschließende Normalisierung dieser Bidivergenz lassen sich die klassischen Attention‑Gewichte, die Diffusion‑Map‑Matrix und die magnetische Diffusion exakt reproduzieren. Damit entsteht ein einheitlicher mathematischer Rahmen, der die drei Verfahren miteinander verbindet.

Um die Beziehungen weiter zu vertiefen, nutzen die Forscher das Konzept des Product‑of‑Experts sowie Schrödinger‑Brücken. Diese Methoden ermöglichen es, die einzelnen Regime in ein gemeinsames Bild einzubetten, das sowohl Gleichgewichtszustände als auch nicht‑gleichgewichtige, stationäre und getriebene Dynamiken abbildet. Das Ergebnis ist ein umfassendes Schema, das die Wechselwirkungen zwischen Attention, Diffusion und magnetischer Laplace‑Struktur systematisch erklärt.

Die Arbeit liefert damit einen bedeutenden Schritt zur Vereinheitlichung von Machine‑Learning‑Techniken und der mathematischen Analyse von Graphen. Sie eröffnet neue Perspektiven für die Entwicklung effizienterer Modelle und für das Verständnis, wie unterschiedliche Lernmechanismen miteinander verknüpft sind.