Neuer Actor-Critic-Algorithmus löst Bi-Level-Reinforcement-Learning effizient

In einer kürzlich veröffentlichten Studie wird ein innovativer Ansatz für das Bi‑Level-Reinforcement‑Learning vorgestellt, der die bisherigen Beschränkungen von zweiten‑Ordnung‑Informationen und aufwendigen Nested‑Loop‑Methoden überwindet. Der neue Algorithmus kombiniert die Vorteile von Actor‑Critic‑Methoden mit einer cleveren Regularisierung, um die Optimierung der oberen Ebene zu beschleunigen.

Das zugrunde liegende Problem besteht aus einer glatten oberen Ebene, die die Belohnung des unteren Markov‑Entscheidungsprozesses (MDP) steuert, und einer unteren Ebene, die die optimale Politik für diesen MDP bestimmt. Traditionelle Verfahren benötigen oft komplexe Hessian‑Berechnungen oder setzen starke Regularisierungen ein, was die Effizienz stark einschränkt.

Der vorgestellte Ansatz nutzt einen einzigen, ersten‑Ordnung‑Loop, der die Bi‑Level‑Zielfunktion über eine Straf‑basierte Umformulierung optimiert. Durch die Einführung einer abschwächenden Entropie‑Regularisierung im unteren RL‑Ziel wird eine asymptotisch unverzerrte Schätzung des Hyper‑Gradienten der oberen Ebene ermöglicht, ohne das unregularisierte RL‑Problem exakt lösen zu müssen.

Die Autoren zeigen, dass ihr Verfahren in endlicher Zeit und mit endlichen Stichproben zu einem stationären Punkt der ursprünglichen, unregularisierten Bi‑Level‑Optimierung konvergiert. Diese Resultate beruhen auf einer neuen Residualanalyse der unteren Ebene unter einer speziellen Polyak‑Lojasiewicz‑Bedingung.

Die Leistungsfähigkeit des Algorithmus wird durch Experimente demonstriert: Auf einem GridWorld‑Zielpositionsproblem erzielt er schnelle und stabile Lernfortschritte, und bei der Generierung von „happy tweets“ mittels Reinforcement Learning from Human Feedback (RLHF) liefert er überzeugende Ergebnisse, die die praktische Anwendbarkeit des Ansatzes unterstreichen.