COWM-Schicht stabilisiert Deep RL durch Clustering-basierte Gewichtorthogonalität

Reinforcement‑Learning‑Agenten haben in den letzten Jahren beeindruckende Leistungen erzielt, doch sie arbeiten meist unter der Annahme, dass die Umgebung stationär ist. In der Praxis sind viele Umgebungen jedoch nicht stationär, was die Lernzeit auf Millionen von Iterationen verlängert und die Stichproben­effizienz stark reduziert. Um diesem Problem entgegenzuwirken, wurde die Clustering Orthogonal Weight Modified (COWM) Schicht entwickelt. Sie lässt sich nahtlos in das Politiknetzwerk beliebiger RL‑Algorithmen einbauen und nutzt Clustering‑Methoden in Kombination mit einer Projektionstabelle, um die Nicht‑Stationarität zu verringern.

Durch die Reduktion von Gradienten­interferenzen beschleunigt die COWM‑Schicht den Lernprozess und steigert die Gesamteffizienz. In Experimenten übertrifft sie aktuelle Verfahren und erzielt Verbesserungen von 9 % bei vision‑basierten sowie 12,6 % bei state‑basierten Aufgaben des DMControl‑Benchmarks. Darüber hinaus zeigt die Methode Robustheit und Generalität über verschiedene Algorithmen und Aufgaben hinweg.