Neuer Actor-Critic-Algorithmus reduziert Rauschen bei TD-Fehlern

In der Verstärkungslern‑Forschung ist der temporale Differenzfehler (TD‑Fehler) ein zentrales Werkzeug zur Optimierung von Wert‑ und Politikfunktionen. Durch die Bootstrapping‑Natur dieser Fehler entstehen jedoch häufig Rauschen und Instabilitäten, die das Lernen stark beeinträchtigen können. Traditionelle Gegenmaßnahmen wie Zielnetzwerke oder Ensemble‑Modelle erhöhen zwar die Genauigkeit, bringen aber zusätzliche Rechenkosten und Lernineffizienzen mit sich.

Der neue Ansatz, der auf dem Konzept „Control as Inference“ basiert, führt einen innovativen Algorithmus ein, der robust gegen verrauschte TD‑Fehler arbeitet. Dabei wird die optimale Verteilung als binäre Zufallsvariable über eine Sigmoid‑Funktion modelliert. Durch die gleichzeitige Nutzung von Vorwärts‑ und Rückwärts‑Kullback‑Leibler‑Divergenzen entsteht ein Lernregeln, bei dem die Gradienten bei stark verrauschten Fehlern automatisch abnehmen – das Rauschen wird somit implizit aus dem Lernprozess ausgeschlossen.

Weiterhin wird die optimale Verteilung in mehrere Ebenen zerlegt, um eine pseudo‑Quantisierung der TD‑Fehler zu erreichen, was die Rauschunterdrückung noch verstärkt. Ein Ansatz auf Basis der Jensen‑Shannon‑Divergenz kombiniert die Vorteile beider Divergenzen und liefert eine robuste Approximation. In umfangreichen RL‑Benchmarks zeigte sich, dass der Algorithmus stabile Lernfortschritte erzielt, selbst wenn klassische Heuristiken fehlen.