Latente Geometrie bleibt kompatibel: Modelle ohne Gewichtsupdates korrigiert

In einer neuen Untersuchung auf arXiv (2603.20406v1) wird erforscht, ob unabhängig trainierte Sprachmodelle geometrisch kompatible latente Repräsentationen entwickeln und ob diese Kompatibilität genutzt werden kann, um das Verhalten von Modellen während der Inferenz zu korrigieren, ohne deren Gewichte zu verändern. Dazu wird eine lineare Projektionsmatrix gelernt, die Aktivierungsvektoren eines großen Lehrmodells in das Koordinatensystem eines kleineren Lernenden überträgt. Anschließend wird während der Textgenerierung der Residual‑Stream des Lernenden durch die übersetzte Lehrrepräsentation ersetzt.

Die Methode wurde an 20 heterogenen Lehrer‑Schüler‑Paarungen getestet, die Mixture‑of‑Experts, dichte, code‑spezialisierte und synthetisch trainierte Architekturen umfassen. Die Ridge‑Projection erzielte dabei konsistent R²‑Werte von 0,50 bei verbalen und 0,40 bei mathematischen Reasoning‑Aufgaben. Unter Permutationskontrolle sank der Wert auf -0,22, bei L1‑Regularisierung auf 0,01. Die Korrekturquoten lagen zwischen 14,0 % und 50,0 % bei TruthfulQA (Durchschnitt 25,2 %) sowie zwischen 8,5 % und 43,3 % bei GSM8K (Durchschnitt 25,5 %), was die Generalisierung über verschiedene Domänen hinweg bestätigt.

Interessanterweise zeigt die Analyse eine nahezu null Korrelation (r = -0,07) zwischen der Qualität der geometrischen Ausrichtung und der Korrekturrate, was auf eine Trennung zwischen Repräsentationsgenauigkeit und Auswirkung auf die Ausgabe hinweist. Die Stärke der Intervention variiert je nach Architektur: Lernende Modelle zeigen charakteristische Sensitivitätsprofile, die sich zwischen den Domänen umkehren, wobei das am steuern leichteste verbale Modell …