Symmetriebrechung in Transformers: Mehr Leistung & Interpretierbarkeit

In einer neuen Studie wird gezeigt, dass das Standard-Attention‑Modell ungenutzte Rotationsfreiheitsgrade besitzt, die zwar durch die Berechnung laufen, aber die Ausgaben nicht beeinflussen. Durch das Einführen eines einfachen Symmetriebrechungsprotokolls – zufällig erzeugte, nicht lernbare Biases für Query und Value – wird ein bevorzugter Richtungsvektor in diesen Rotationsraum gesetzt.

Die Auswirkungen sind zweifach: Erstens verbessert sich die Leistung von einfachen, speichereffizienten Optimierern erheblich. In Experimenten mit 124‑Millionen‑Parameter‑Transformern wurden vier Optimierer (AdamW, SOAP, SGDM und Energy‑Conserving Descent) verglichen. Die Ergebnisse zeigen, dass die Performance der einfachen Optimierer die Lücke zu komplexeren, speicherintensiven adaptiven Methoden schließt – teilweise sogar vollständig.

Zweitens ermöglicht die Symmetriebrechung eine interpretierbare Nutzung der sonst redundanten Rotationsfreiheitsgrade. Durch gezielte Verstärkung semantisch relevanter Tokenklassen innerhalb einzelner Attention‑Heads lassen sich die inneren Mechanismen des Modells besser nachvollziehen.

Die Studie demonstriert, dass minimale, prinzipielle architektonische Änderungen sowohl die Effizienz als auch die Interpretierbarkeit von Transformer‑Modellen signifikant steigern können.