Verhaltensoptimierung senkt Varianz bei Off‑Policy RL

Ein neues Ergebnis aus der Off‑Policy‑Evaluation zeigt, dass gezielt gestaltete Verhaltenspolitiken Daten liefern können, die zu deutlich geringeren Varianzen bei Rückkehrschätzungen führen. Das ist überraschend, denn bisher galt die Datensammlung auf‑Policy als optimal.

Die Autoren übertragen diesen Ansatz auf das Online‑Reinforcement‑Learning, wo Bewertung und Verbesserung der Politik gleichzeitig stattfinden. Anstatt mehrere parallele Arbeiter zu nutzen, konzentriert sich das Verfahren auf einen einzigen Worker – die Verhaltenspolitik – der die Daten für die Politikverbesserung sammelt. Durch die niedrigere Varianz werden die Rückkehrschätzungen stabiler und die Lernrate steigt.

In Experimenten wurden zwei gängige Policy‑Gradient‑Methoden mit dieser neuen Regime erweitert. Die Ergebnisse zeigen eine bessere Stichproben‑Effizienz und überlegene Leistung in einer Vielzahl von Umgebungen, was die Praxis des Off‑Policy‑RL nachhaltig verbessern dürfte.