Momentum Attention: Physikbasierter Ansatz für In‑Context‑Lernen
Das Mechanistic Interpretability‑Programm hat den Transformer bereits als präzises Rechengraphen‑Modell abgebildet. In der neuesten Veröffentlichung wird dieses Modell um ein Erhaltungsgesetz und zeitlich variierende A…