Bayessche ATM-Variante steigert Stabilität bei mHealth-Interventionen

In der mobilen Gesundheitsforschung (mHealth) gilt es, die Wirksamkeit von Interventionen mit dem Aufwand für die Nutzer in Einklang zu bringen. Besonders problematisch sind dabei Zustandsmessungen – etwa Befragungen oder Feedback‑Formulare – die zwar entscheidend, aber kostenintensiv sind.

Der Act‑Then‑Measure (ATM) Ansatz löst dieses Problem, indem er Steuerungs- und Messaktionen innerhalb des Action‑Contingent Noiselessly Observable Markov Decision Process (ACNO‑MDP) trennen. Die klassische ATM‑Variante nutzt jedoch ein temporaldifferenz‑inspiriertes Q‑Learning, das in sparsamen und verrauschten Umgebungen häufig instabil wird.

Die neue bayessche Erweiterung ersetzt das herkömmliche Q‑Learning durch eine Kalman‑Filter‑ähnliche Bayessche Aktualisierung. Dadurch bleiben Unsicherheits­schätzungen der Q‑Werte erhalten, was zu stabileren und daten­effizienteren Lernprozessen führt.

In einfachen, tabellarischen Testumgebungen erzielt die bayessche ATM‑Variante vergleichbare oder sogar bessere Ergebnisse, weist dabei deutlich geringere Varianz auf und zeigt ein stabileres Verhalten der Policy. In größeren, klinisch relevanten Szenarien hingegen schneiden sowohl die klassische als auch die bayessche Variante schlecht ab – ein Hinweis darauf, dass die Annahmen des ATM‑Modells nicht mit den komplexen Strukturen echter mHealth‑Domänen übereinstimmen.

Diese Erkenntnisse unterstreichen den Nutzen von Unsicherheits‑bewussten Methoden in Daten­knappen Situationen, weisen aber gleichzeitig auf die Notwendigkeit hin, neue Reinforcement‑Learning‑Algorithmen zu entwickeln, die kausale Strukturen, kontinuierliche Zustände und verzögerte Rückmeldungen unter Beobachtungskosten explizit modellieren.