Neue RL-Methode: Trajektorien-Entropie begrenzt Lernen

Maximum‑Entropy‑Reinforcement‑Learning (RL) hat sich als führendes Off‑Policy‑Framework etabliert, um Exploitation und Exploration auszubalancieren. Trotz seiner Beliebtheit gibt es zwei wesentliche Engpässe: Erstens führt die gleichzeitige Einführung von Entropie und deren Gewichtungsparameter – der Temperatur – zu nicht‑stationären Q‑Wert‑Schätzungen. Zweitens wird die Temperatur bislang nur anhand der aktuellen, einzelnen Schritt‑Entropie angepasst, ohne die kumulative Wirkung über die Zeit zu berücksichtigen.

Um diese Probleme zu lösen, stellt die neue Arbeit ein Trajektorien‑Entropie‑beschränktes RL‑Framework (TECRL) vor. Dabei werden zwei Q‑Funktionen getrennt gelernt – eine für die Belohnung und eine für die Entropie. Diese Trennung sorgt für saubere und stabile Zielwerte, die nicht durch Temperaturupdates verfälscht werden. Die spezielle Entropie‑Q‑Funktion quantifiziert die erwartete kumulative Entropie und ermöglicht so die Durchsetzung einer Trajektorien‑Entropie‑Beschränkung, die die langfristige Stochasticität der Policy steuert.

Auf Basis des TECRL-Frameworks wurde ein praktisches Off‑Policy‑Algorithmus namens DSAC‑E entwickelt. Dieser erweitert den aktuellen Stand‑der‑Kunst-Algorithmus Distributional Soft Actor‑Critic (DSAC) um drei gezielte Verbesserungen (DSAC‑T). Durch die Kombination von getrennten Q‑Funktionen und einer Trajektorien‑Entropie‑Regulierung bietet DSAC‑E eine robuste und effiziente Lernstrategie.

Experimentelle Tests auf dem OpenAI‑Gym‑Benchmark zeigen, dass DSAC‑E höhere Rückgaben erzielt und gleichzeitig eine bessere Stabilität aufweist. Die Ergebnisse unterstreichen das Potenzial von Trajektorien‑Entropie‑beschränktem RL, die Leistungsgrenzen herkömmlicher Maximum‑Entropy‑Methoden zu überwinden.