LLMs verstehen Zeitreihen? Neue Studie zeigt Grenzen der Chronologie‑Erkennung

Eine aktuelle Untersuchung auf arXiv (Arbeitstitel: „Do Large Language Models (LLMs) Understand Chronology?“) beleuchtet, ob moderne Sprachmodelle tatsächlich die Reihenfolge historischer Ereignisse nachvollziehen können. Die Forscher haben dafür drei Aufgaben entwickelt: reine chronologische Sortierung, bedingte Sortierung (Filter‑und‑Ordnen) und das Erkennen von Anachronismen.

Die getesteten Modelle – GPT‑4.1, Claude‑3.7 Sonnet und die neueste Version GPT‑5 – wurden sowohl mit als auch ohne „Extended Thinking“ (eine Technik, die mehr Rechenzeit für das Nachdenken einplant) evaluiert. Die Ergebnisse zeigen, dass die Modelle bei kurzen Listen noch exakt die richtige Reihenfolge liefern, aber bei längeren Sequenzen die Trefferquote stark sinkt. Gleichzeitig bleiben die Rangkorrelationen hoch, was bedeutet, dass die Modelle lokale Reihenfolgen gut behalten, jedoch Schwierigkeiten haben, eine konsistente globale Zeitleiste zu erzeugen.

Bei der bedingten Sortierung liegen die meisten Fehler im Filterschritt, nicht im eigentlichen Ordnen. Hier schneiden GPT‑5 und Claude‑3.7 Sonnet mit Extended Thinking deutlich besser ab. Das Erkennen von Anachronismen ist die einfachste Aufgabe, verliert aber ebenfalls an Genauigkeit, wenn die Zeiträume stärker überlappen oder mehrere Entitäten beteiligt sind.

Ein zentrales Ergebnis der Studie ist, dass ein expliziter „Rechenbudget‑Aufwand“ die Leistung erheblich steigert. GPT‑5 erreicht bei mittlerem bis hohem Aufwand eine fehlerfreie Sortierung aller Listenlängen und eine perfekte bedingte Sortierung – im Gegensatz zu Modellen mit geringem Aufwand, die bei längeren Listen deutlich schlechter abschneiden. Diese Erkenntnisse legen die Grenzen der aktuellen LLM‑Technologie im Umgang mit chronologischen Daten offen und zeigen gleichzeitig, wie gezielte Rechenressourcen die Genauigkeit verbessern können.