MANAR: Neue Attention-Architektur vereint Memory und Global Workspace Theory

Ein neues Modell namens MANAR (Memory‑augmented Attention with Navigational Abstract Conceptual Representation) erweitert die klassische Multi‑Head‑Attention‑Schicht um Prinzipien der Global Workspace Theory (GWT). Durch die Einführung eines zentralen Arbeitsbereichs, der aus trainierbaren abstrakten Konzepten besteht, wird die bisher fehlende funktionale Engstelle und die globale Integrationsmechanik, die in kognitiven Modellen des Bewusstseins postuliert wird, nachgebildet.

MANAR arbeitet in zwei klar definierten Phasen. Zunächst werden im Integrationsschritt die aus dem Speicher abgerufenen Konzepte zu einer gemeinsamen „mental image“ – dem Abstract Conceptual Representation (ACR) – zusammengeführt. Anschließend nutzt die Broadcasting‑Phase diesen globalen Zustand, um die Kontextualisierung einzelner Tokens zu steuern und zu verbessern. Diese zweistufige Logik spiegelt die Mechanismen der GWT exakt wider.

Ein wesentlicher Vorteil von MANAR ist die lineare Zeitkomplexität. Durch das Routing globaler Informationen über einen konstanten ACR‑Bereich wird die quadratische Komplexität, die bei herkömmlicher Attention auftritt, vermieden. Gleichzeitig bleibt die Architektur vollständig kompatibel mit bestehenden Multi‑Head‑Attention‑Modellen, sodass vortrainierte Transformer leicht über einen einfachen Gewichtskopiermechanismus übernommen werden können. Damit werden die häufig auftretenden Hindernisse bei der Einführung linearer Alternativen überwunden.

Darüber hinaus ermöglicht MANAR eine nicht‑konvexe Kontextualisierung, wodurch neue Repräsentationen erzeugt werden können, die außerhalb des konvexen Hüllraums der üblichen Attention‑Ausgaben liegen. Diese Eigenschaft eröffnet neue Möglichkeiten für komplexere Sprach- und Bildverarbeitungsaufgaben, bei denen die Modellierung von Beziehungen über mehrere Ebenen hinweg entscheidend ist.