Lineare Surrogates enthüllen Skalierungseffekte in Sprachmodellen

Eine neue Untersuchung zeigt, dass die Tiefenverläufe von Transformer‑Modellen durch kompakte lineare Modelle beschrieben werden können, obwohl die ursprünglichen Systeme hochdimensional und nichtlinear sind.

Die Forscher entwickelten ein 32‑dimensionales lineares Surrogat, das die sensitivitätsprofile von GPT‑2‑Large exakt reproduziert. Dabei wurden Aufgaben wie Toxizität, Ironie, Hassrede und Sentiment analysiert.

Ein überraschendes Skalierungsprinzip wurde entdeckt: Für ein festes Surrogat verbessert sich die Übereinstimmung mit dem vollständigen Modell monoton, je größer das Modell innerhalb der GPT‑2‑Familie wird. Das Surrogat ermöglicht zudem gezielte mehrschichtige Interventionen, die weniger Energie benötigen als herkömmliche heuristische Verfahren.

Die Ergebnisse legen nahe, dass bei zunehmender Modellgröße lineare Tiefen­dynamiken innerhalb des Kontextes entstehen. Dies liefert eine systemtheoretische Basis, um Sprachmodelle besser zu analysieren und zu steuern.