Sicheres Reinforcement Learning: Schutz bei Diabetes trotz Datenverschiebung

In einer neuen Studie wird untersucht, ob Sicherheitsgarantien, die während des Trainings von Reinforcement‑Learning‑Algorithmen (RL) erlangt werden, auch bei der tatsächlichen Anwendung gelten, wenn die Datenbedingungen sich ändern. Als Testumgebung dient die Diabetes‑Behandlung, ein Bereich, in dem Fehler schwerwiegende Folgen haben können.

Die Forscher haben acht sichere RL‑Algorithmen in einem einheitlichen klinischen Simulator getestet und dabei einen deutlichen „Safety‑Generalization‑Gap“ entdeckt: Modelle, die im Training die festgelegten Sicherheitsgrenzen einhalten, brechen häufig diese Grenzen, wenn sie auf Patienten angewendet werden, die im Trainingsdatensatz nicht vertreten waren.

Eine Lösung namens „Test‑Time Shielding“ wurde entwickelt, die potenziell unsichere Aktionen anhand von erlernten Dynamikmodellen herausfiltert. Durch diese Filterung konnten die Sicherheitsleistungen über alle getesteten Algorithmen, Diabetes‑Typen und Altersgruppen hinweg verbessert werden. Im Vergleich zu starken Baselines wie PPO‑Lag und CPO erzielte das Shielding einen Anstieg des Time‑in‑Range‑Werts um 13–14 % und senkte gleichzeitig den klinischen Risikofaktor sowie die Glukosevariabilität.

Der bereitgestellte Simulator und das Benchmark‑Set bilden damit eine Plattform, um die Sicherheit von RL‑Systemen unter veränderten Verteilungsbedingungen in sicherheitskritischen Kontrolldomänen zu erforschen. Der Code ist frei verfügbar unter https://github.com/safe-autonomy-lab/GlucoSim und https://github.com/safe-autonomy-lab/GlucoAlg.