Transformer‑Attention‑Modelle als neue Basis für Quantenfeldtheorie

Ein neues arXiv‑Paper präsentiert einen innovativen Ansatz, um skalare Quantenfeldtheorien mit Hilfe von Transformer‑Attention‑Köpfen zu konstruieren. Dabei werden n‑Punkt‑Korrelationen definiert, indem über zufällige Netzwerkparameter im Rahmen des NN‑QFT‑Modells gemittelt wird.

Für einen einzelnen Attention‑Head erzeugen gemeinsam geteilte, zufällige Softmax‑Gewichte eine Kopplung zwischen verschiedenen Breitenkoordinaten und führen zu nicht‑gaußschen Feldstatistiken, die auch im Grenzfall unendlicher Breite bestehen bleiben. Die Autoren berechnen die Zwei‑Punkt‑Funktion in einer Attention‑Gewichtsdarstellung und zeigen, wie durch zufällige Feature‑Token‑Einbettungen euclidisch‑invariante Kerne erzeugt werden können.

Die Analyse der verbundenen Vier‑Punkt‑Funktion offenbart einen „Unabhängigkeits‑Brechungs‑Beitrag“, der als Kovarianz über Query‑Key‑Gewichte ausgedrückt werden kann und im unendlichen Breitenlimit endlich bleibt. Schließlich demonstrieren die Forscher, dass die Summierung vieler unabhängiger Köpfe mit der üblichen 1/N_h‑Normalisierung die verbundenen nicht‑gaußschen Korrelationen um den Faktor 1/N_h unterdrückt, wodurch im großen‑Kopf‑Grenzfall ein gaußsches NN‑QFT entsteht.