Llama-3 löst Addition durch letzte Token-Ausgabe und rotierende Ziffernrichtung

Eine neue Studie auf arXiv untersucht, wie Meta‑Llama‑3‑8B bei dreistelligen Additionen die Ergebnisse abschließt, sobald die Kreuz‑Token‑Routierung nicht mehr wirkt. Durch gezielte Patch‑Tests und kumulative Aufmerksamkeits‑Ablationen wurde ein scharfer Übergang in der Modellarchitektur entdeckt: ab Schicht 17 bestimmt fast ausschließlich das letzte Eingabe‑Token das Ergebnis, während spätere Selbst‑Aufmerksamkeits‑Schichten kaum mehr Einfluss haben.

In diesem „post‑routing“ Bereich zeigen die Richtungs‑Dictionaries für die einzelnen Ziffern, dass sie sich je nach Kontext der nächsthöheren Ziffer ändern, aber dennoch durch eine fast orthogonale Abbildung in einem gemeinsamen, niedrigrangigen Unterraum zusammenhängen. Diese Struktur lässt sich mit einer Procrustes‑Anpassung beschreiben und erklärt, warum einfache Kontext‑Transfers bei der Ziffer‑Bearbeitung versagen.

Die Autoren demonstrieren, dass das gezielte Rotieren der Richtungen über die erlernte Abbildung präzise, kontrafaktische Änderungen ermöglicht – ein Ansatz, der negative Kontrollen nicht repliziert. Die Ergebnisse liefern neue Einblicke in die interne Repräsentation arithmetischer Operationen in großen Sprachmodellen und legen nahe, dass die letzte Token‑Ausgabe eine entscheidende Rolle spielt.