TemporalBench: Benchmark für LLM-Agenten in zeitlichen Kontextaufgaben

Ein neues Benchmark-Set namens TemporalBench wurde vorgestellt, um die Fähigkeit von großen Sprachmodellen (LLM) zur zeitlichen Analyse unter unterschiedlichen Informationsbedingungen zu prüfen. Das Ziel ist es, zu klären, ob gute Vorhersagen wirklich auf einem tiefen Verständnis von Zeitreihen beruhen oder lediglich auf der Fähigkeit, unter Kontext- und Ereignisbedingungen zu rechnen.

TemporalBench gliedert sich in vier Ebenen: die Interpretation historischer Strukturen, kontextfreie Vorhersagen, kontextbezogene Zeitreihenlogik und Ereignisabhängige Prognosen. Jede Ebene wird in vier realen Domänen – Einzelhandel, Gesundheitswesen, Energie und physikalische Systeme – getestet. Durch gezielte Einschränkung des Zugangs zu zukünftigen Zielen und Kontextinformationen lässt sich diagnostisch untersuchen, ob Modelle Muster korrekt erkennen, sie mit externen Faktoren verknüpfen und ihre Vorhersagen bei veränderten Bedingungen anpassen.

Die ersten Basis-Tests zeigen, dass hohe numerische Genauigkeit nicht zwangsläufig zu robustem kontext- oder ereignisbezogenem Zeitverständnis führt. Bestehende Agenten zeigen fragmentierte Stärken und systematische Schwächen, die bei herkömmlichen Forecasting-Benchmarks verborgen bleiben. TemporalBench bietet damit einen vielschichtigen Test, der diese Lücken aufdeckt.

Das Dataset ist frei verfügbar unter https://huggingface.co/datasets/Melady/TemporalBench und ein öffentliches Leaderboard steht unter https://huggingface.co/spaces/Melady/TemporalBench_Leaderboard zur Verfügung.