Hierarchisches RL optimiert ressourcenbeschränkte NPIs bei Mehrfachausbrüchen

Im Kampf gegen Infektionskrankheiten sind nicht-pharmazeutische Maßnahmen wie Tests und Quarantäne unverzichtbar – doch gerade in den ersten Phasen eines Ausbruchs sind die verfügbaren Ressourcen oft knapp. Besonders herausfordernd ist die gleichzeitige Bewältigung mehrerer, asynchron auftretender Ausbruchsklaster, die in Größe, Risiko und Nachfrage stark variieren.

Ein Ausbruchsklaster besteht dabei aus den engen Kontakten, die ein einzelner infizierter Fall erzeugt. Entscheidungen über die Zuteilung von Tests, Quarantäneplätzen oder anderen Ressourcen müssen also unter Unsicherheit und heterogenen Anforderungen getroffen werden, während gleichzeitig betriebliche Beschränkungen eingehalten werden.

Um dieses Problem zu lösen, formuliert die Studie es als einen restriktiven „restless multi‑armed bandit“ und entwickelt einen hierarchischen Reinforcement‑Learning‑Ansatz. Ein globaler Controller lernt einen kontinuierlichen Kostenmultiplikator, der die Gesamtnachfrage nach Ressourcen steuert, während eine lokale Policy den Grenznutzen der Zuteilung einzelner Personen innerhalb jedes Klusters schätzt.

Die Methode wurde in einem realitätsnahen Agenten‑Simulator für SARS‑CoV‑2 mit dynamisch auftretenden Klastern getestet. Im Vergleich zu RMAB‑inspirierten und heuristischen Baselines erzielte das hierarchische Modell eine Verbesserung der Ausbruchskontrolle um 20 % bis 30 %. Bei bis zu 40 gleichzeitig aktiven Klastern zeigte sich die Skalierbarkeit des Ansatzes: Entscheidungen wurden schneller getroffen als bei herkömmlichen RMAB‑Methoden.

Diese Ergebnisse unterstreichen, dass hierarchisches Reinforcement Learning ein vielversprechendes Werkzeug für die effiziente Nutzung knapper Ressourcen in komplexen, mehrklastigen Ausbruchsszenarien darstellt und damit die öffentliche Gesundheitspolitik nachhaltig stärken kann.