Stabilität von Attention-Head-Circuits in LLMs: Neue Erkenntnisse

In einer neuen Studie zum mechanistischen Verständnis von Transformer‑Modellen wurde die Stabilität von Attention‑Head‑Cirkeln systematisch untersucht. Dabei wurden verschiedene Sprachmodelle unterschiedlicher Größe mehrfach neu initialisiert und trainiert, um zu prüfen, wie konsistent die Lernmuster der einzelnen Heads über verschiedene Trainingsläufe hinweg sind.

Die Ergebnisse zeigen, dass die Heads in den mittleren Schichten die geringste Stabilität aufweisen, gleichzeitig aber die eindeutigsten Repräsentationen erzeugen. In tieferen Modellen verstärkt sich diese Divergenz noch, während die Heads in den tiefen Schichten, die instabil bleiben, funktionell wichtiger werden als ihre stabileren Gegenstücke derselben Schicht.

Ein weiterer Befund ist, dass die Anwendung von Weight‑Decay‑Optimierung die Stabilität der Attention‑Heads signifikant erhöht. Im Gegensatz dazu bleibt der Residual‑Stream relativ stabil, was auf eine robuste Basisstruktur des Modells hindeutet.

Diese Erkenntnisse unterstreichen die Bedeutung der Querschnitts‑Robustheit von Cirkeln für die Skalierbarkeit von Überwachungsmechanismen in KI‑Systemen. Nur wenn die identifizierten Muster über verschiedene Instanzen hinweg reproduzierbar sind, kann man ihnen vertrauen und sie für sicherheitskritische Anwendungen nutzen.