Grenzenlose Evolutionäre Strategien für die Feinabstimmung von Robotik-Politiken

Die Optimierung von Robotik-Politiken mit on‑policy Reinforcement Learning stößt häufig an die Grenzen verrauschter, schwacher Gradienten. Forscher haben daher Evolution Strategies (ES) als Alternative zum klassischen Policy‑Gradient-Ansatz neu beleuchtet und die Exploration auf beschränkte, antithetische Dreiecksverteilungen fokussiert – ein Ansatz, der sich besonders für die Feinabstimmung von bereits gut funktionierenden Politiken eignet.

Das neue Verfahren, Triangular‑Distribution ES (TD‑ES), kombiniert diese beschränkte Dreiecksrauschen mit einem zentrierten Rang‑Differenz‑Estimator. Dadurch entstehen stabile, parallellizierbare und gradientsfreie Updates, die gleichzeitig rechenintensiv leicht bleiben. In einem zweistufigen Pipeline-Ansatz wird zunächst mit PPO vortrainiert, um frühzeitige Sample‑Effizienz zu sichern, und anschließend mit TD‑ES verfeinert, um robuste Endergebnisse zu erzielen.

In einer Reihe von Robotik‑Manipulationsaufgaben konnte TD‑ES die Erfolgsraten im Vergleich zu reinem PPO um 26,5 % steigern und die Varianz deutlich reduzieren. Das Ergebnis ist ein einfacher, rechenfreundlicher Weg, um bestehende Robotik‑Politiken zuverlässig zu optimieren.