Momentum Attention: Physikbasierter Ansatz für In‑Context‑Lernen
Das Mechanistic Interpretability‑Programm hat den Transformer bereits als präzises Rechengraphen‑Modell abgebildet. In der neuesten Veröffentlichung wird dieses Modell um ein Erhaltungsgesetz und zeitlich variierende AC‑Dynamik erweitert, sodass es wie ein physikalisches Schaltkreis‑System wirkt.
