Timer‑S1: Milliarden‑Skaliges Zeitreihen‑Modell mit Serial Scaling

Timer‑S1 ist ein neues Mixture‑of‑Experts‑Modell für Zeitreihen, das mit 8,3 Milliarden Parametern und 0,75 Milliarden aktivierten Parametern pro Token sowie einer Kontextlänge von 11 500 Tokens die Grenzen bisheriger Modelle sprengt.

Um die Skalierbarkeitsengpässe zu überwinden, setzt Timer‑S1 Serial Scaling in drei Dimensionen ein: Architektur, Datensatz und Trainingspipeline. Durch die Kombination sparsamer TimeMoE‑Blöcke und generischer TimeSTP‑Blöcke für Serial‑Token‑Prediction nutzt das Modell serielle Berechnungen, die langfristige Vorhersagen verbessern und gleichzeitig das problematische Rolling‑Inference sowie die damit einhergehende Fehlerakkumulation vermeiden.

Für ein hochwertiges, unvoreingenommenes Training wurde TimeBench – ein Korpus mit einer Billion Zeitpunkten – zusammengestellt. Ergänzt wird das Dataset durch sorgfältige Datenaugmentation, um Vorhersagebias zu reduzieren. Zusätzlich wird ein Post‑Training‑Schritt eingeführt, der weiteres Pre‑Training und die Verlängerung des langen Kontextbereichs umfasst, um sowohl Kurz- als auch Langzeitperformance zu steigern.

Auf dem GIFT‑Eval‑Leaderboard erzielt Timer‑S1 die besten MASE‑ und CRPS‑Werte unter allen vortrainierten Modellen und setzt damit neue Maßstäbe für Zeitreihen‑Forecasting. Das Modell wird veröffentlicht, um weitere Forschung zu ermöglichen.