Floating-Point-Transformer: Grenzen der Ausdruckskraft entdeckt

Eine neue Arbeit, die auf arXiv veröffentlicht wurde, untersucht die Ausdruckskraft von Transformer‑Modellen, die mit Gleitkomma‑Parametern und Gleitkomma‑Operationen arbeiten. Frühere Theorien gingen davon aus, dass die Modelle mit exakt realen Zahlen arbeiten und damit sämtliche permutation‑equivariante kontinuierliche Funktionen auf kompakten Domänen approximieren können. In der Praxis jedoch sind nur endliche Zahlenmengen verfügbar und Rechenoperationen unterliegen Rundungsfehlern.

Der Artikel zeigt, dass Gleitkomma‑Transformer bereits ohne Positionskodierung eine Klasse von nicht‑permutation‑equivarianten Funktionen darstellen können – ein Ergebnis, das bei exakten Operationen nicht möglich ist. Damit wird deutlich, dass die Beschränkungen der realen Implementierung die theoretische Ausdruckskraft wesentlich beeinflussen.

Weiterhin wird bewiesen, dass bei einer begrenzten Sequenzlänge die Modelle sämtliche permutation‑equivariante Funktionen abbilden können, während sie bei längeren Sequenzen diese Fähigkeit verlieren. Die Autoren identifizieren zudem die minimal notwendige Equivariance‑Struktur für Gleitkomma‑Transformer und zeigen, dass jede nicht‑triviale additive Positionskodierung die Darstellbarkeit negativ beeinflusst.

Diese Erkenntnisse liefern wichtige Hinweise für das Design zukünftiger Transformer‑Architekturen. Sie verdeutlichen, dass die Wahl der Positionskodierung und die Berücksichtigung von Rundungsfehlern entscheidend für die Leistungsfähigkeit von Modellen in der Praxis sind.