NeuroGame Transformer: Spieltheorie & Physik verbessern Attention

Die herkömmlichen Attention-Mechanismen in Transformer‑Modellen beschränken sich auf paarweise Beziehungen, wodurch komplexe Abhängigkeiten zwischen Tokens nicht vollständig erfasst werden können. Der neue NeuroGame Transformer (NGT) löst dieses Problem, indem er Attention aus zwei völlig unterschiedlichen Blickwinkeln betrachtet: Tokens agieren gleichzeitig als Spieler in einem kooperativen Spiel und als wechselwirkende Spins in einem statistischen Physik‑System.

Die Wichtigkeit jedes Tokens wird dabei mit zwei komplementären Spieltheorie‑Konzepten quantifiziert – Shapley‑Werte für globale, permutationsbasierte Attributionen und Banzhaf‑Indizes für lokale, koalitionsbasierte Einflüsse. Diese beiden Metriken werden über ein lernbares Gating‑Parameter zu einem externen Magnetfeld zusammengeführt, während die paarweisen Wechselwirkungen als Potenziale die synergistischen Beziehungen zwischen Tokens einfangen. Das gesamte System folgt einer Ising‑Hamiltonian‑Struktur, sodass die Attention‑Gewichte als Randwahrscheinlichkeiten der Gibbs‑Verteilung entstehen und effizient über Mittelwert‑Feld‑Gleichungen berechnet werden können.

Um die Skalierbarkeit trotz der exponentiellen Anzahl möglicher Koalitionen zu gewährleisten, entwickelt NGT gewichtete Monte‑Carlo‑Estimatoren, die mit Gibbs‑verteilten Gewichten arbeiten. Diese Methode vermeidet explizite exponentielle Faktoren und sorgt für numerische Stabilität bei langen Sequenzen. Gleichzeitig liefert die Arbeit theoretische Konvergenzgarantien und charakterisiert das Gleichgewicht zwischen Fairness und Sensitivität, das durch den Interpolationsparameter gesteuert wird.

Experimentelle Ergebnisse zeigen, dass der NeuroGame Transformer auf den Benchmark‑Datensätzen SNLI und MNLI-Matched starke Leistungen erzielt und dabei einige der führenden effizienten Transformer‑Baselines übertrifft. Besonders auf SNLI erreicht NGT eine Test‑Genauigkeit, die die bisherigen Spitzenwerte deutlich übersteigt.