Tokenisierung von klinischen Zeitreihen neu gedacht: Weniger ist oft mehr

Die Art und Weise, wie Modelle elektronische Gesundheitsdaten verarbeiten, hängt stark von der Tokenisierung ab – doch bislang fehlt ein fairer Vergleich der verschiedenen Ansätze. In einer neuen Studie wurde die Effektivität von Tokenisierungsstrategien für klinische Zeitreihen systematisch untersucht, wobei transformerbasierte Architekturen auf dem umfangreichen MIMIC‑IV‑Datensatz angewendet wurden.

Durch gezielte Ablationen in vier klinischen Vorhersageaufgaben – darunter Mortalität und Rehospitalisierung – zeigte die Analyse, dass explizite Zeitencodings keine konsistenten, statistisch signifikanten Vorteile bringen. Stattdessen variiert die Bedeutung von Wertfeatures stark je nach Aufgabe: Sie beeinflussen die Mortalitätsvorhersage, wirken sich jedoch bei der Rehospitalisierung kaum aus, was darauf hindeutet, dass reine Code‑Sequenzen bereits genügend prädiktive Informationen liefern.

Ein weiterer Schwerpunkt lag auf den Code‑Encodern. Hier erwiesen sich vortrainierte, eingefrorene Encoders deutlich leistungsfähiger als ihre trainierbaren Gegenstücke, während sie gleichzeitig deutlich weniger Parameter benötigen. Größere, feste Encoders führten zu konsistenten Verbesserungen über alle Aufgaben hinweg, da sie die Rechenlast reduzieren und gleichzeitig die Modellleistung steigern.

Die Ergebnisse zeigen, dass einfachere, parameter‑effiziente Tokenisierungsansätze in vielen Fällen starke Leistungen erzielen können. Dennoch bleibt die optimale Strategie stark von der jeweiligen Aufgabe abhängig, was die Notwendigkeit einer sorgfältigen, datengetriebenen Auswahl unterstreicht.