HyperMLP: Neue Perspektive für Sequenzmodellierung – MLP statt Attention

In einer wegweisenden Veröffentlichung auf arXiv präsentiert das Team hinter HyperMLP einen völlig neuen Blickwinkel auf die klassische Self‑Attention‑Architektur. Statt die Aufmerksamkeit als probabilistische Query‑Key‑Suche zu betrachten, wird sie als dynamisches, zweischichtiges MLP interpretiert, dessen Gewichte direkt aus dem bisherigen Kontext abgeleitet werden.

Diese Sichtweise führt zu einer eleganteren Darstellung: Die Attention‑Scores bilden dabei ein wachsendes, verstecktes Repräsentations‑Layer, während gängige MLP‑Aktivierungen wie ReLU oder GLU als bedingte Auswahlmechanismen über einen kontextabhängigen Speicherpool fungieren – anstelle einer reinen Wahrscheinlichkeitsverteilung. Durch diese Vereinfachung wird die Komplexität reduziert und gleichzeitig die Flexibilität erhöht.

Auf dieser Grundlage wurden die Modelle HyperMLP und HyperGLU entwickelt, die dynamisches Mischen sowohl im Feature‑ als auch im Sequenzraum ermöglichen. Ein innovatives Reverse‑Offset‑Layout sorgt dafür, dass die zeitliche Mischung exakt mit den autoregressiven Semantik‑Regeln übereinstimmt. Theoretische Analysen zeigen die erweiterte Ausdruckskraft dieser Struktur, und empirische Tests demonstrieren, dass HyperMLP/HyperGLU bei gleichem Parameterbudget konsequent stärkere Ergebnisse liefern als etablierte Softmax‑Attention‑Baselines.