Gerade Köpfe beheben ungerade Fehler: Entdeckung in Transformer‑Attention

In einer neuen Studie wurde ein formatabhängiger Fehler in der Sprachmodell‑Architektur Llama‑3.1‑8B‑Instruct aufgedeckt: Das Modell bewertet die Zahl „9.11“ fälschlicherweise als größer als „9.8“, wenn die Eingabe im Chat‑ oder Q&A‑Format vorliegt, liefert aber die korrekte Antwort bei einer einfachen Text‑Darstellung.

Durch gezielte Interventionen konnte das Team den Mechanismus hinter diesem Phänomen aufklären. Die Analyse zeigte, dass die Attention‑Köpfe des Transformers in geraden und ungeraden Indizes spezialisiert sind: Gerade Köpfe übernehmen die numerische Vergleichsaufgabe, während ungerade Köpfe andere, inkompatible Funktionen ausführen.

Der Fehler lässt sich exakt beheben, wenn genau acht gerade Köpfe im zehnten Layer aktiviert werden. Jede Kombination aus acht oder mehr geraden Köpfen führt zur vollständigen Reparatur, während sieben oder weniger Köpfe den Fehler nicht korrigieren. Diese klare Schwelle unterstreicht die perfekte Redundanz unter den 16 geraden Köpfen.

Eine detaillierte Feature‑Analyse (SAE) zeigte, dass die Format‑Repräsentationen in Layer 7 zu etwa 10 % überlappen, sich aber in Layer 10 zu 80 % wieder verschmelzen. In den fehlerhaften Formaten werden bestimmte Features um das 1,5‑Fache verstärkt. Mit nur 25 % der Attention‑Köpfe konnte die vollständige Reparatur erreicht werden, wobei ein 60 %iges Muster‑Ersetzungs‑Threshold identifiziert wurde.

Die Ergebnisse demonstrieren, dass scheinbar vollständige Modulintegration oft auf hochgradig spezialisierte Unterstrukturen zurückzuführen ist. Dies hat bedeutende Implikationen für die Interpretierbarkeit von KI‑Modellen und für die Entwicklung effizienterer Architekturen.

Der gesamte Code zur Analyse und Reparatur ist frei verfügbar unter https://github.com/gussand/surgeon.