Transformer als Vektor‑Symbolische Architektur: Neue Perspektive auf Attention
In einem brandneuen Beitrag auf arXiv wird die Funktionsweise von Transformer‑Modellen aus einer völlig neuen Sicht beleuchtet: Sie werden als Annäherung an eine Vektor‑Symbolische Architektur (VSA) verstanden. Dabei werden die bekannten Self‑Attention‑Mechanismen und die Residual‑Verbindungen als Bausteine einer Soft‑Vector‑Symbol‑Rechnung interpretiert. Queries und Keys bilden dabei Rollenräume, die Werte tragen die Füller, die Attention‑Gewichte führen ein sanftes „Unbinding“ durch und die Residual‑Verbindungen ermöglichen die Superposition vieler gebundener Strukturen.
