Transformer: Injectivität & geometrische Robustheit – neue Erkenntnisse

In einer wegweisenden Studie zeigen Forscher, dass Decoder‑Only‑Transformers unter real‑analytischen Annahmen die Abbildung von diskreten Prompt‑Sätzen auf die letzten Token‑Hidden‑States im Allgemeinen injektiv ist. Sie erweitern dieses Ergebnis, indem sie für jede Schicht einen Kollisionsdiskriminanten Δℓ und einen injektiven Stratum Uℓ definieren. Dabei gilt eine klare Dichotomie: Entweder ist das Modell auf dem gesamten Parameterraum niemals injektiv, oder Uℓ ist offen, dicht und jede Abbildung Fℓ ist injektiv.

Unter milden Nicht‑Singularitätsbedingungen des Optimierers und einer absolut kontinuierlichen Initialisierung bleibt diese generische Injektivität entlang glatter Trainingspfade über beliebige Zeiträume erhalten. Die Autoren berücksichtigen zudem Symmetriegruppen G, zeigen, dass Diskriminanten und injektive Strata auf den Quotienten Θ/G absteigen, und betonen damit, dass Injektivität eine Eigenschaft von funktionalen Äquivalenzklassen ist.

Zur Veranschaulichung führen die Forscher eine empirische Analyse durch, bei der sie einen Trennabstand und eine co‑Lipschitz‑Konstante zwischen Prompt‑Raum und Last‑Token‑Repräsentationsraum bestimmen. Diese Kennzahlen werden über Nachbarschaftsstatistiken großer Prompt‑Sätze geschätzt. Auf vortrainierten Modellen wie LLaMA‑3 und Qwen wird untersucht, wie sich die Werte über Schichten, Sequenzlängen, Modellgrößen sowie 8‑ und 4‑Bit‑Aktivierungsquantisierung verhalten.

Die Ergebnisse zeigen, dass in voller Präzision und bei 8‑Bit‑Quantisierung keine Kollisionen auftreten. Bei 4‑Bit‑Quantisierung entstehen lediglich wenige Kollisionen, und die co‑Lipschitz‑Schätzungen werden deutlich reduziert. Diese Erkenntnisse liefern wichtige Einblicke in die geometrische Stabilität von Transformer‑Modellen und legen die Grundlage für robustere Architektur‑ und Trainingsstrategien.