Transformer zeigen Phasenübergang: Objektpermanenz in Repräsentationsräumen

Eine neue Studie auf arXiv beleuchtet, wie tiefgreifende Transformer‑Modelle – von 1,5 B bis 30 B Parametern – plötzlich ihre Fähigkeit zur mehrstufigen Logik entwickeln. Durch die Betrachtung der versteckten Zustands­trajektorien als Flüsse auf einem impliziten Riemannischen Mannigfaltigkeit konnten die Forscher die Struktur der Aktivierungen auf jeder Ebene mathematisch beschreiben.

Der Schlüssel liegt in der Kovarianz‑Spektralanalyse: Das Spektrum der Aktivierungen weicht von einem zufälligen Matrix‑Bulk ab, sobald die Modelle eine kritische Tiefe erreichen. Ein sparsamer, lokalisierter Parameter, der die Dimensionalität misst, zeigt einen plötzlichen Sprung bei einem normalisierten Tiefenwert von etwa 0,42. Dieser Sprung ist ein klassischer Hinweis auf einen Phasenübergang in der Repräsentations­dynamik.

Die Autoren modellieren den Forward‑Pass als diskrete Coarse‑Graining‑Transformation und zeigen, dass stabile „Konzept‑Becken“ als Fixpunkte dieser renormierungsähnlichen Dynamik entstehen. In diesem Low‑Entropy‑Zustand kollabiert das Spektraltail, und temporäre, wiederverwendbare Objekt‑ähnliche Strukturen – Transient Class Objects (TCOs) – bilden sich im Repräsentationsraum. Diese TCOs ermöglichen es dem Modell, komplexe logische Beziehungen effizient zu speichern und abzurufen.

Durch theoretische Bedingungen, die logische Trennbarkeit mit spektraler Abnahme verknüpfen, und durch gezielte Layer‑Probe‑Tests auf mehreren Open‑Weight‑Modellen konnten die Autoren die Vorhersagen experimentell bestätigen. Die Ergebnisse liefern einen tiefen Einblick in die physikalische Struktur von Sprachmodellen und eröffnen neue Wege, ihre kognitive Leistungsfähigkeit zu verstehen und zu optimieren.