HEARTS: Neues Benchmark für LLMs im Gesundheitszeitreihen-Reasoning

Die rasante Entwicklung großer Sprachmodelle (LLMs) hat die Analyse von Zeitreihen im Gesundheitsbereich von einer engen, analytischen Domäne zu einer generellen, reasoning‑basierten Aufgabe verlagert. Bisher decken vorhandene Benchmarks jedoch nur wenige Gesundheitszeitreihen‑Modalitäten und Aufgaben ab, sodass die Vielfalt realer physiologischer Daten und die komplexen zeitlichen Abhängigkeiten nicht ausreichend erfasst werden.

Mit dem neuen Benchmark HEARTS (Health Reasoning over Time Series) wird diese Lücke geschlossen. HEARTS bündelt 16 reale Datensätze aus 12 Gesundheitsbereichen und 20 Signalmodalitäten und definiert eine umfassende Taxonomie von 110 Aufgaben, die in vier Kernfähigkeiten unterteilt sind: Perception, Inference, Generation und Deduction.

Eine Evaluation von 14 führenden LLMs an mehr als 20.000 Testproben liefert aufschlussreiche Erkenntnisse. Erstens schneiden die LLMs deutlich schlechter ab als spezialisierte Modelle, und ihre Leistungen stehen nur schwach im Zusammenhang mit allgemeinen Reasoning‑Scores. Zweitens greifen die Modelle häufig auf einfache Heuristiken zurück und haben Schwierigkeiten bei mehrstufiger, zeitlicher Argumentation. Drittens verschlechtert sich die Performance mit zunehmender zeitlicher Komplexität, wobei ähnliche Fehler innerhalb von Modellfamilien auftreten – ein Hinweis darauf, dass bloßes Skalieren nicht ausreicht.

HEARTS bietet damit ein standardisiertes Testfeld und ein lebendiges Benchmark‑Repository, das die Entwicklung von nächsten‑Generation‑LLM‑Agenten fördert, die über vielfältige Gesundheitssignale hinweg präzises, mehrstufiges Reasoning leisten können.