TFRBench: Das erste Benchmark für das Reasoning in Zeitreihenprognosen

Mit TFRBench wird ein Meilenstein gesetzt: Es ist das erste Benchmark, das die Fähigkeit von Prognosesystemen zur logischen Analyse von Zeitreihen misst, statt sich ausschließlich auf numerische Genauigkeit zu beschränken.

Traditionell wurden Zeitreihenprognosen nur anhand ihrer Zahlenwerte bewertet, wodurch die zugrunde liegenden Modelle als „Black Box“ behandelt wurden. TFRBench ergänzt dieses Bild um ein neues Protokoll, das die von Prognosesystemen erzeugte Argumentation prüft – insbesondere deren Analyse von Querverbindungen zwischen Kanälen, Trends und externen Ereignissen.

Zur Umsetzung bietet das Benchmark ein systematisches Multi‑Agenten‑Framework, das einen iterativen Verifikationsschleifenmechanismus nutzt, um numerisch fundierte Reasoning‑Spuren zu erzeugen. Diese Spuren ermöglichen es, die Logik hinter den Vorhersagen transparent zu machen.

Die Evaluation erstreckt sich über zehn Datensätze in fünf unterschiedlichen Domänen. Die Ergebnisse zeigen, dass die generierten Reasoning‑Spuren kausal wirksam sind und die Bewertung verbessern. Durch das Prompten von großen Sprachmodellen mit diesen Spuren steigt die Prognosegenauigkeit signifikant – von durchschnittlich etwa 40,2 % auf 56,6 %.

Im Gegensatz dazu zeigen Benchmark‑Tests, dass handelsübliche Sprachmodelle sowohl im Reasoning als auch in der numerischen Vorhersage deutlich hinter den Erwartungen zurückbleiben und häufig die spezifischen Dynamiken einzelner Domänen nicht erfassen.

Damit setzt TFRBench einen neuen Standard für interpretierbare, reasoning‑basierte Bewertungen in der Zeitreihenprognose. Das Benchmark‑Set ist unter https://tfrbench.github.io verfügbar.