Transformer-Modelle: Text wird in Gewichtungen umgewandelt

Eine neue Studie auf arXiv (2510.08734v1) legt die theoretische Basis dafür, wie große Sprachmodelle durch gezielte Änderungen ihrer internen Zustände gesteuert werden können. Dabei werden nicht nur Aktivierungen, sondern auch Gewichtsmatrizen direkt angepasst.

Der Ansatz baut auf der Erkenntnis auf, dass der Einfluss eines Prompts mathematisch als implizite Gewichtungsänderung dargestellt werden kann. Die Autoren erweitern diese Idee auf tiefere, mehrschichtige Transformer‑Architekturen und zeigen, wie jede Textstelle intern über Gewichtvektoren und -matrizen verarbeitet wird.

Aus diesen Erkenntnissen wird ein systematisches Verfahren abgeleitet, das die Informationen eines Prompts in tokenunabhängige „Thought‑Vectors“ und „Thought‑Matrices“ überführt. Diese Strukturen erklären bestehende Techniken zur Modellbearbeitung und bieten einen klaren, rechnerisch fundierten Weg, Texte in wiederverwendbare Gewichtungsupdates zu verwandeln.