Phasor-Transformer: Effiziente globale Token-Mischung für Zeitreihen

Transformer haben die Verarbeitung von Sequenzen revolutioniert, doch die klassische dot‑product‑Self‑Attention erzeugt bei langen Zeitreihen einen quadratischen Engpass. Der neue Phasor‑Transformer löst dieses Problem, indem er die Zustände der Sequenz auf der Einheitskreis‑Mannigfaltigkeit S¹ abbildet und damit eine völlig neue Art der Token‑Mischung ermöglicht.

Jeder Phasor‑Transformer‑Block kombiniert leichte, lernbare Phasenverschiebungen mit einer parameter‑freien, diskreten Fourier‑Transformation (DFT). Durch diese Kombination entsteht ein globaler Token‑Kopplungsmechanismus, der in O(N log N) arbeitet – ohne explizite Aufmerksamkeitskarten. Durch Stapeln dieser Blöcke entsteht das Large Phasor Model (LPM), das mit einem sehr kompakten Parameterbudget arbeitet.

In umfangreichen Tests auf synthetischen Mehrfrequenz‑Zeitreihen zeigte das LPM stabile globale Dynamiken und erreichte Vorhersageleistungen, die mit herkömmlichen Self‑Attention‑Baselines vergleichbar sind. Die Ergebnisse legen eine klare Effizienz‑Leistungsgrenze nahe und demonstrieren, dass große Modelle für Zeitreihen durch geometrisch eingeschränkte Phasenrechnung und deterministische globale Kopplung skalierbar werden können.

Der Phasor‑Transformer eröffnet damit einen praktikablen Weg zu skalierbaren, temporalen Modellen in Bereichen mit oszillierenden Daten, ohne die Rechenkosten der klassischen Attention‑Mechanismen zu belasten.