Momentum Attention: Physikbasierter Ansatz für In‑Context‑Lernen

Das Mechanistic Interpretability‑Programm hat den Transformer bereits als präzises Rechen­graphen‑Modell abgebildet. In der neuesten Veröffentlichung wird dieses Modell um ein Erhaltungsgesetz und zeitlich variierende AC‑Dynamik erweitert, sodass es wie ein physikalisches Schaltkreis‑System wirkt.

Der Kern der Arbeit ist „Momentum Attention“, eine symplektische Erweiterung, die physikalische Vorurteile durch den kinematischen Differenzoperator p_t = q_t - q_{t-1} einbettet. Durch die symplektische Scherung q̂_t = q_t + γp_t auf Queries und Keys entsteht ein mathematischer High‑Pass‑Filter. Diese Symplectic‑Filter‑Dualität ermöglicht es, die üblichen Tiefenbeschränkungen für die Induktionskopf‑Bildung zu umgehen: Statt zwei Schichten reicht eine einzige Schicht, um Geschwindigkeit direkt zu nutzen und damit In‑Context‑Lernen zu beschleunigen.

Ein Orthogonalitätstheorem zeigt, dass DC‑ (semantische) und AC‑ (mechanistische) Signale in orthogonale Frequenzbänder getrennt werden, wenn ein Low‑Pass‑RoPE mit dem High‑Pass‑Momentum interagiert. In über 5.100 kontrollierten Experimenten – dokumentiert in 27 Jupyter‑Notebooks – übertrifft ein 125‑Millionen‑Parameter‑Momentum‑Modell die Erwartungen bei induktionsintensiven Aufgaben und bleibt dabei innerhalb von etwa 2,9 % der Validierungs­verlust‑Performance eines 350‑Millionen‑Parameter‑Baselines. Eine Skalierungs­regel γ* = 4,17 × N^‑0,74 bestätigt die Austauschbarkeit von Momentum und Tiefe.

Diese Arbeit liefert ein neues, physikbasiertes Rahmenwerk für mechanistische Interpretierbarkeit und spectral Forensics, das sowohl die Analyse als auch die Optimierung von Transformer‑Modellen auf einer fundamentalen Ebene ermöglicht.