Transformer mit spektralen Filtern: 10 % bessere Vorhersagen bei Zeitreihen

Transformer‑basierte Modelle dominieren derzeit die Vorhersage langer Zeitreihen, doch sie neigen dazu, sich auf niedrige Frequenzen zu konzentrieren und erfordern gleichzeitig hohe Rechen- und Speicherressourcen.

Eine neue Studie zeigt, dass lernbare Frequenzfilter als integraler Bestandteil eines tiefen Vorhersagemodells die Spektralnutzung deutlich verbessern. Frühere Ansätze setzten auf Multilayer‑Perzeptronen, konnten die Probleme echter Transformer jedoch nicht vollständig lösen.

In dem vorliegenden Beitrag wird demonstriert, dass das Hinzufügen eines Filters zu Beginn eines Transformers die Leistung bei langen Zeitreihen um 5 – 10 % steigert. Dabei werden lediglich rund 1.000 zusätzliche Parameter benötigt, die Embedding‑Dimension reduziert und die Modelle dadurch kleiner und effizienter.

Synthetische Experimente verdeutlichen, wie die Filter den Transformer befähigen, das gesamte Frequenzspektrum für die Vorhersage zu nutzen, was die Genauigkeit weiter erhöht.