LLM entschlüsselt: Wie Schmerz- und Lustentscheidungen im Transformer entstehen

In einer neuen Studie wurde untersucht, wie große Sprachmodelle (LLMs) Entscheidungen treffen, die von Schmerz- oder Lustfaktoren beeinflusst werden. Dabei nutzte das Forschungsteam das Modell Gemma‑2‑9B‑it und ein minimalistisches Entscheidungsaufgaben‑Setup, das auf früheren Verhaltensstudien basiert.

Die Forscher kartierten zunächst, wo im Transformer die Informationen über die Valenz (Schmerz vs. Lust) gespeichert sind. Durch lineare Probes zeigten sich die beiden Valenzsignale bereits in den allerersten Schichten (L0‑L1) eindeutig trennbar. Gleichzeitig blieb ein lexikalischer Basissignal stark vorhanden.

Weiterhin wurde die Intensität der Valenz in den mittleren bis späten Schichten besonders gut ablesbar, vor allem in den Ausgaben von Attention‑ und MLP‑Blöcken. Die Entscheidung des Modells zeigte sich am stärksten kurz vor dem letzten Token.

Mit gezielten Aktivierungsinterventionen – sogenanntes Steering – konnte die Studie nachweisen, dass das Hinzufügen einer datenbasierten Valenzrichtung die Logit‑Differenz zwischen den beiden Optionen in den späten Attention‑Ausgaben (z. B. attn_out L14) signifikant verändert. Diese Effekte waren nicht auf ein einzelnes Head beschränkt, sondern verteilt über mehrere Heads.

Die Ergebnisse verbinden Verhaltensbeobachtungen mit mechanistischer Interpretierbarkeit und zeigen, dass LLMs komplexe, aber nachvollziehbare Entscheidungsprozesse nutzen, um Schmerz- und Lustfaktoren zu gewichten.