Geometrische Attention: Neuer Operator-Ansatz für Transformer

Die jüngste Veröffentlichung auf arXiv (2601.11618v1) stellt „Geometric Attention“ (GA) vor – einen völlig neuen Rahmen, der die Funktionsweise von Transformer‑Attention explizit in vier unabhängige Eingaben zerlegt. Dabei definiert GA eine Attention‑Schicht durch einen endlichen Träger, eine Evidenz‑Kernel‑Regel, eine Probe‑Familie und eine Anker‑/Update‑Regel.

Die Probe‑Familien erzeugen eine operationelle Äquivalenzrelation auf den Kerneln und damit einen Gauge. Anker wählen dann repräsentative Kernel relativ zu dieser Probe. Unter einer skalaren relationalen Arbeitsdarstellung und einer multiplikativen Kompositionsgesetzgebung für Evidenz ergibt sich eine exponentielle Link‑Familie, die Gibbs‑Gewichte liefert. Durch Zeilen‑Ankern wird sogar die klassische Softmax‑Kernel‑Familie als Unterregime abgebildet.

Nach der Quotierung von einzeiligen Zeilen‑ und Spaltenscore‑Feldern besitzt der verbleibende Interaktionskomponente eine kanonische Rang‑r‑Normform (Eckart‑Young/SVD). Dot‑Product‑Score‑Charts realisieren damit den entsprechenden Low‑Rank‑Interaktionsmodus. Wird der Träger fixiert und das Update extensionalisiert, entsteht der Standard‑Transformer‑Attention‑Operator; erlaubte Träger‑Updates führen zu adaptiven Träger‑ und gestaffelten Tiefen‑Regimen.

Der Operator‑Sprachgebrauch unterstützt zudem Multi‑Head‑/Mixed‑Kernel‑Konfigurationen, planbasierte Anker (z. B. entropische OT/Sinkhorn) sowie unäre Operatoren (wie FFN‑ähnliche Felder) als explizite Regime‑Auswahl. Durch die Trennung von invarianten Strukturen und Modellauswahl ermöglicht GA eine systematische Gegenüberstellung und Erweiterung von Attention‑Mechanismen und auf Attention basierenden Architekturen.