Transformer als Vektor‑Symbolische Architektur: Neue Perspektive auf Attention

In einem brandneuen Beitrag auf arXiv wird die Funktionsweise von Transformer‑Modellen aus einer völlig neuen Sicht beleuchtet: Sie werden als Annäherung an eine Vektor‑Symbolische Architektur (VSA) verstanden. Dabei werden die bekannten Self‑Attention‑Mechanismen und die Residual‑Verbindungen als Bausteine einer Soft‑Vector‑Symbol‑Rechnung interpretiert. Queries und Keys bilden dabei Rollenräume, die Werte tragen die Füller, die Attention‑Gewichte führen ein sanftes „Unbinding“ durch und die Residual‑Verbindungen ermöglichen die Superposition vieler gebundener Strukturen.

Diese algebraische Sicht eröffnet einen klaren Zusammenhang zwischen den inneren Abläufen von Transformers und bekannten Formen des logischen Denkens – etwa Chain‑of‑Thought‑Spuren, programmengestützte Argumentation oder die Nutzung von speicher‑augmentierten Werkzeugen. Gleichzeitig liefert sie Erklärungen für typische Schwachstellen: Variablen‑Verwechslungen, inkonsistente Antworten bei logisch verwandten Eingaben und andere Anomalien, die bisher als „brittle“ Eigenschaften galten.

Auf Basis dieser Erkenntnisse schlägt die Arbeit konkrete architektonische Verbesserungen vor. Dazu gehören explizite Bindungs‑ und Unbindungs‑Köpfe, hyperdimensionale Speicher‑Schichten sowie neue Trainingsziele, die die Trennung von Rollen und Füllern sowie eine robuste Superposition fördern. Zusätzlich werden Messgrößen für die „VSA‑ähnlichkeit“ und die logische Zusammensetzbarkeit definiert, um Fortschritte systematisch zu bewerten. Der Beitrag betont, dass die Betrachtung von Attention als weiche, vektor‑symbolische Berechnung einen fundierten Weg zu interpretierbaren und logisch verlässlichen KI‑Systemen eröffnet.