Feinere Zeitschritte verbessern Reinforcement-Learning-Strategien bei Sepsis

In der Behandlung von Sepsis wird Reinforcement Learning (RL) zunehmend eingesetzt, um Therapieentscheidungen zu optimieren. Bisher wurden die meisten Studien jedoch mit einer 4‑Stunden‑Zeitschrittgröße gearbeitet, was Bedenken hinsichtlich einer zu groben Abbildung der Patientenentwicklung aufwirft.

Die neue Untersuchung testet vier unterschiedliche Zeitschrittgrößen – 1, 2, 4 und 8 Stunden – innerhalb eines identischen Offline‑RL‑Pipelines. Durch gezielte Aktions‑Remapping‑Methoden können die Modelle fair über die verschiedenen Zeitauflösungen hinweg verglichen werden, während gleichzeitig die Auswahl der Modelle für jede Zeitschrittgröße unter zwei Lernaufbauten erfolgt.

Die Ergebnisse zeigen, dass die Leistungsentwicklung je nach Lernaufbau variiert. Besonders hervorzuheben ist, dass bei feineren Zeitschritten (1 h und 2 h) in Kombination mit einer statischen Verhaltenspolitik die besten Ergebnisse in Bezug auf Leistung und Stabilität erzielt werden. Größere Zeitschritte führen zu weniger präzisen Zustandsdarstellungen und damit zu suboptimalen Therapieempfehlungen.

Diese Erkenntnisse unterstreichen die Bedeutung der Zeitschrittgröße als entscheidendes Designkriterium in Offline‑RL‑Anwendungen im Gesundheitswesen. Sie liefern überzeugende Belege dafür, dass Alternativen zur herkömmlichen 4‑Stunden‑Konfiguration nicht nur möglich, sondern vorteilhaft sind.