Neue Methode: Realizable Abstractions ermöglichen nahezu optimale Hierarchische RL

In der hierarchischen Verstärkungslern-Forschung (HRL) geht es darum, große Markov-Entscheidungsprozesse (MDPs) effizienter zu lösen, indem man sie in kleinere Teilaufgaben zerlegt und deren Lösungen kombiniert. Bisherige Ansätze zur MDP‑Abstraktion haben jedoch oft begrenzte Ausdruckskraft oder fehlende formale Effizienzgarantien.

Die neue Arbeit führt das Konzept der „Realizable Abstractions“ ein – eine Relation zwischen generischen Low‑Level‑MDPs und ihren zugehörigen High‑Level‑Entscheidungsprozessen. Diese Definition vermeidet Probleme mit Nicht‑Markovianität und bietet starke nahezu‑optimale Garantien. Jede abstrakte Politik lässt sich in eine nahezu optimale Low‑Level‑Politik überführen, indem geeignete Optionen – Lösungen spezieller konstruierter MDPs – zusammengesetzt werden.

Auf Basis dieser Erkenntnisse wird der Algorithmus RARL vorgestellt. RARL liefert kompositionsfähige und nahezu optimale Low‑Level‑Politiken, indem es die Realizable Abstraction nutzt. Der Ansatz ist wahrscheinlich annähernd korrekt, konvergiert in polynomialer Stichprobenzahl und bleibt robust gegenüber Ungenauigkeiten in der Abstraktion.