Transformers verarbeiten seltene Tokens ohne Clustering oder Routing

Neues Forschungsergebnis aus dem arXiv-Preprint 2509.04479 zeigt, dass große Sprachmodelle seltene Tokens nicht über modulare Cluster, sondern über ein dezentralisiertes Netzwerk spezialisierter Neuronen verarbeiten. Die Studie untersucht GPT‑2 XL und Pythia und nutzt neuronale Einflussanalysen, graphbasierte Clusterung und gezielte Ablationen von Aufmerksamkeitsköpfen.

Die wichtigsten Erkenntnisse sind drei­fach: Erstens benötigen seltene Tokens zusätzliche „Plateau“-Neuronen, die über das Power‑Law‑Regime hinausgehen, das für häufige Tokens ausreicht. Diese bilden ein zweistufiges Rechenmodell. Zweitens liegen die Plateau‑Neuronen räumlich verteilt und bilden keine klaren modularen Cluster. Drittens zeigen die Aufmerksamkeitsmechanismen keine bevorzugte Weiterleitung zu spezialisierten Neuronen.

Das Ergebnis legt nahe, dass die Spezialisierung auf seltene Tokens durch ein trainingsgetriebenes, verteiltes Differenzierungsverfahren entsteht, das die Flexibilität des Modells bewahrt und gleichzeitig eine adaptive Kapazitätszuweisung ermöglicht. Diese Einsicht hilft, die Funktionsweise von Transformer‑Modellen besser zu verstehen und könnte zukünftige Optimierungen von Sprachmodellen beeinflussen.