LLMs zeigen tiefenbasierte Umwandlung: Von Kontext zu Vorhersage – Geometrische Entfaltung

In einer bahnbrechenden Studie haben Forscher auf arXiv einen tiefen, strukturierten Wandel in großen Sprachmodellen (LLMs) aufgezeigt. Die Ergebnisse zeigen, dass decoder‑only LLMs im Verlauf ihrer Schichten von einer Phase der Kontextverarbeitung zu einer Phase der Vorhersagebildung übergehen – ein Prozess, der mit einer deutlichen Umstrukturierung der Repräsentationsgeometrie einhergeht.

Durch die Kombination geometrischer Analysen mit mechanistischen Interventionen konnten die Wissenschaftler nachweisen, dass die späteren Schichten der Modelle ein gezieltes geometrisches Codierungssystem implementieren. Dieses System ermöglicht es, gezielt die Vorhersage eines Tokens zu steuern, indem die Winkelstruktur der Repräsentationen die Ähnlichkeit der Vorhersageverteilungen bestimmt.

Ein weiteres faszinierendes Ergebnis ist die Trennung der Informationen: Während die Winkel der Repräsentationen die Vorhersageverteilung steuern, tragen die Normen der Repräsentationen kontextspezifische Daten bei, die jedoch die Vorhersage selbst nicht bestimmen. Diese Entdeckung liefert einen mechanistisch‑geometrischen Rahmen, um zu verstehen, wie LLMs Kontext in Vorhersagen umwandeln.

Die Studie liefert damit einen wichtigen Beitrag zum Verständnis der inneren Funktionsweise von LLMs und eröffnet neue Perspektiven für die gezielte Steuerung ihrer Vorhersagen.