Fehlende Daten: Wie Missingness die Prognosen von LLMs beeinflusst

In der medizinischen Forschung werden Daten häufig durch menschliche Entscheidungen geprägt. Ein Beispiel ist die Verschreibung eines diagnostischen Tests, die von der Gesundheit des Patienten, seinen Präferenzen, den verfügbaren Ressourcen und den Empfehlungen des Arztes abhängt. Obwohl die Bedeutung fehlender Werte bereits gut dokumentiert ist, wurde bislang kaum untersucht, wie sie die Leistung von Large Language Models (LLMs) beeinflusst.

Eine Reihe von Experimenten mit Datensätzen des Columbia University Medical Center und MIMIC‑IV zeigt, dass Muster von Missingness die Zero‑Shot‑Vorhersagekraft von LLMs stark verändern. Die gezielte Einbindung von Missingness‑Indikatoren in die Prompt‑Formulierung kann bei manchen Modellen die Genauigkeit und Kalibrierung verbessern, bei anderen jedoch verschlechtern. Diese Wirkung ist nicht einheitlich und hängt von der Modellgröße ab.

Größere Modelle profitieren tendenziell von solchen Interventionen, während kleinere Modelle oft negativ betroffen sind. Das LLM‑Paradigma kann die Auswirkungen fehlender Daten verschleiern, ein Problem, das bereits in klassischen Machine‑Learning‑Ansätzen besteht. Die Studie unterstreicht die Notwendigkeit einer transparenten Berücksichtigung und systematischen Bewertung von Missingness, um die Zuverlässigkeit von LLM‑Prognosen zu erhöhen.