Optimistisches RL: Quantilbasierte Lernstrategie für risikobewusste
Reinforcement Learning hat in den letzten Jahren enorme Fortschritte erzielt, doch die klassischen Modelle berücksichtigen selten die Risikobewertung, die in Bereichen wie Medizin oder Finanzen entscheidend ist. Um dieses Problem anzugehen, setzen Forscher zunehmend auf Quantilziele – also die Optimierung eines bestimmten Quantils der kumulativen Belohnungsverteilung.
In der aktuellen Studie wird der neue Algorithmus UCB‑QRL vorgestellt, der speziell für die Optimierung des τ‑Quantils in endlichen, horizonierten Markov‑Entscheidungsprozessen (MDPs) entwickelt wurde. Der Ansatz ist optimistisch: Bei jedem Durchlauf schätzt das Verfahren zunächst die Übergangswahrscheinlichkeiten und nutzt anschließend diese Schätzung, um innerhalb eines Vertrauensraums die Quantilwertfunktion zu maximieren.
Die Autoren zeigen, dass UCB‑QRL im episodischen Setting ein hochwahrscheinlichkeitsbasiertes Regret‑Bound liefert: O ((2/κ)^(H+1) H √(S A T H log(2S A T H/δ))). Dabei stehen S für die Anzahl der Zustände, A für die Aktionen, T für die Episoden und H für die Horizonlänge. Der Parameter κ>0 ist problemabhängig und spiegelt die Sensitivität des MDPs hinsichtlich des Quantils wider.
Diese Ergebnisse markieren einen wichtigen Schritt in Richtung risiko‑sensitiver Lernalgorithmen und eröffnen neue Möglichkeiten für Anwendungen, bei denen nicht nur der Erwartungswert, sondern auch die Verteilung der Belohnungen von zentraler Bedeutung ist.