Breiter statt tiefer: Consensus Aggregation steigert Policy-Optimierung

In der neuesten Veröffentlichung auf arXiv wird ein zentrales Problem der Proximal Policy Optimization (PPO) aufgezeigt: Mehrere Epochen von geklipptem SGD führen dazu, dass die Policy-Updates immer weiter von der natürlichen Gradientenrichtung abweichen. Durch die Anwendung der Fisher‑Information‑Geometrie lässt sich dieser Drift in ein „Signal“ – die natürliche Gradientenprojektion – und „Abfall“ – den Fisher‑orthogonalen Rest, der das Trust‑Region‑Budget verbraucht, ohne echte Verbesserung – zerlegen. Empirisch saturiert das Signal, während der Abfall mit zunehmender Epoche wächst, was zu einer sogenannten Optimierungs‑Tiefe‑Dilemma führt.

Um dieses Problem zu lösen, stellen die Autoren Consensus Aggregation for Policy Optimization (CAPO) vor. CAPO verschiebt die Rechenlast von der Tiefe zur Breite: Statt tiefer zu trainieren, werden K PPO‑Replikate auf demselben Datensatz optimiert, wobei jedes Replikat lediglich durch eine andere Mini‑Batch‑Shuffelung variiert. Anschließend werden die Replikate zu einer Konsens‑Policy zusammengeführt. Die Aggregation wird in zwei Räumen untersucht – dem euklidischen Parameterraum und dem natürlichen Parameterraum der Policy‑Verteilung mittels logarithmischer Meinungs‑Pools.

Im natürlichen Parameterraum erreicht der Konsens eine höhere KL‑penalierte Surrogat‑Leistung und eine strengere Einhaltung der Trust‑Region als ein durchschnittlicher Experte. Parameter‑Durchschnittung übernimmt diese Vorteile annähernd vollständig. Diese theoretischen Erkenntnisse werden durch umfangreiche Experimente auf kontinuierlichen Kontrollaufgaben bestätigt: CAPO übertrifft sowohl PPO als auch tiefer optimierte Baselines mit gleichem Rechenbudget um bis zu 8,6‑fachen Geschwindigkeitsgewinn, ohne zusätzliche Umgebungsinteraktionen zu benötigen.

Die Ergebnisse zeigen eindeutig, dass die Optimierung von Policies effektiver gestaltet werden kann, indem man breiter statt tiefer arbeitet – ein Ansatz, der die Effizienz von Reinforcement‑Learning‑Algorithmen nachhaltig steigern dürfte.