LLMs für unregelmäßige Zeitreihen in der Intensivpflege neu bewertet

In einer neuen Studie aus dem Bereich der Intensivpflege wurden Large Language Models (LLMs) auf ihre Eignung für die Analyse von unregelmäßigen Zeitreihen untersucht. Diese Daten, die aus der Intensivstation stammen, zeichnen sich durch hohe Fehlerraten und viele fehlende Werte aus, was die Analyse besonders herausfordernd macht.

Die Forscher haben ein systematisches Testfeld entwickelt, um zwei zentrale Komponenten von LLMs zu bewerten: den Zeitreihen-Encoder und die multimodale Ausrichtungsstrategie. Dabei zeigte sich, dass die Gestaltung des Encoders entscheidender ist als die Ausrichtungsstrategie. Encoder, die die Unregelmäßigkeit der Daten explizit berücksichtigen, erzielten einen durchschnittlichen Anstieg der AUPRC um 12,8 % im Vergleich zum Standard-Transformer.

Die Ausrichtungsstrategie hatte zwar einen geringeren Einfluss, aber die beste semantisch reiche, fusionbasierte Methode verbesserte die Leistung um 2,9 % gegenüber einer Cross‑Attention‑Strategie. Trotz dieser Fortschritte benötigen LLM‑basierte Ansätze mindestens zehnmal länger zu trainieren als die besten unregelmäßigen, überwachten Modelle und liefern lediglich vergleichbare Ergebnisse. In Situationen mit wenigen Daten (few‑shot‑Learning) schneiden sie schlechter ab.

Die Ergebnisse verdeutlichen sowohl das Potenzial als auch die aktuellen Grenzen von LLMs für die Analyse unregelmäßiger Zeitreihen in der Intensivpflege. Der zugehörige Code ist auf GitHub verfügbar: https://github.com/mHealthUnimelb.