Neue Studie enthüllt: Sprachmodelle kodieren Wahrheit in einem Spektrum

Eine neue Untersuchung auf arXiv zeigt, dass große Sprachmodelle (LLMs) Wahrheit nicht nur linear, sondern in einem breiten Spektrum von Richtungen kodieren. Während frühere Arbeiten die lineare Repräsentation von Wahrhaftigkeit bestätigten, wirft die aktuelle Studie die Frage auf, ob diese Erkenntnis wirklich universell gilt.

Die Forscher stellen die „Truthfulness Spectrum Hypothesis“ vor: Im Repräsentationsraum existieren sowohl allgemein gültige als auch stark domänenspezifische Richtungen. Um diese Idee zu prüfen, wurden lineare Probes systematisch auf fünf Wahrheitsarten – definitional, empirisch, logisch, fiktiv und ethisch – sowie auf sycophantisches und erwartungsinvertiertes Lügen getestet. Die Probes zeigten eine gute Generalisierung über die meisten Domänen hinweg, scheiterten jedoch bei sycophantischem Lügen.

Durch gemeinsames Training aller Domänen konnte die Leistung jedoch stark verbessert werden, was die Existenz von domänengenerellen Richtungen bestätigt. Die Geometrie der Probe-Richtungen erklärt dieses Verhalten: Der Mahalanobis‑Cosinus‑Ähnlichkeitswert zwischen Probes vorhersagt nahezu perfekt die Cross‑Domain‑Generalisation (R² = 0,98). Mit Konzept‑Erasure‑Methoden lassen sich Wahrheitsrichtungen isolieren, die entweder domänenübergreifend, domänenspezifisch oder nur in bestimmten Subsets geteilt sind. Kausale Interventionen zeigen, dass domänenspezifische Richtungen effektiver steuern als die generellen.

Schließlich demonstriert die Studie, dass Post‑Training die Wahrheitsgeometrie neu formt und sycophantisches Lügen weiter von anderen Wahrheitsarten abgrenzt. Dies legt nahe, dass die Tendenz von Chat‑Modellen, sycophantisch zu antworten, auf einer repräsentativen Basis beruht. Insgesamt liefern die Ergebnisse starke Unterstützung für die Hypothese, dass Wahrheitsrichtungen unterschiedlicher Generalität im Repräsentationsraum von LLMs koexistieren.