GoRL: Framework für Online RL mit generativen Policies

Reinforcement‑Learning‑Forscher stehen seit langem vor einem Dilemma: stabile, leicht zu optimierende Policies sind oft zu simpel, um die komplexen, multimodalen Aktionsverteilungen zu erfassen, die für anspruchsvolle Steuerungsaufgaben nötig sind. Gaussian‑Policies bieten zwar handhabbare Likelihoods und glatte Gradienten, bleiben aber unimodal und damit begrenzt ausdrucksstark. Im Gegensatz dazu können generative Policies, die auf Diffusion‑ oder Flow‑Matching‑Modellen basieren, reichhaltige multimodale Verhaltensmuster erzeugen. In der Online‑RL‑Umgebung sind sie jedoch häufig instabil, weil die Likelihoods unhandlich und die Gradienten durch tiefe Sampling‑Ketten verrauscht werden.

Die neue Arbeit präsentiert GoRL – ein algorithmus‑agnostisches Framework, das dieses Spannungsfeld löst, indem es Optimierung und Generierung voneinander trennt. Dabei wird eine tractable latente Policy optimiert, während ein bedingter generativer Decoder die Aktionen erzeugt. Durch einen zweistufigen Update‑Plan lernt die latente Policy stabil, während der Decoder allmählich an Ausdruckskraft gewinnt, ohne dass eine handhabbare Aktions‑Likelihood erforderlich ist.

In einer Reihe von kontinuierlichen Kontrollaufgaben übertrifft GoRL sowohl klassische Gaussian‑Policies als auch aktuelle generative‑Policy‑Baselines. Besonders beeindruckend ist die Leistung auf dem HopperStand‑Task, wo GoRL einen normalisierten Return von über 870 erzielt – mehr als das Dreifache des stärksten Vergleichs‑Baselines. Diese Ergebnisse zeigen, dass die Trennung von Optimierung und Generierung einen praktikablen Weg eröffnet, stabile und gleichzeitig hochausdrucksstarke Policies zu entwickeln.