Evolutionäre Strategien als Vortraining für Deep RL: Ergebnisse im Vergleich

Deep Reinforcement Learning (DRL) hat sich als äußerst leistungsfähig bei komplexen Entscheidungsaufgaben erwiesen, erfordert jedoch enorme Rechenressourcen und eine sorgfältige Abstimmung der Parameter. Evolutionäre Strategien (ES) stellen eine einfachere, ableitungsfreie Alternative dar, die weniger rechenintensiv ist und leichter einzusetzen ist. Doch ob ES die Leistungsstandards von DRL erreichen können, bleibt fraglich.

In einer vergleichenden Studie wurden ES und DRL bei Aufgaben unterschiedlicher Schwierigkeitsgrade getestet – von Flappy Bird über Breakout bis hin zu MuJoCo-Umgebungen. Die Ergebnisse zeigen, dass ES nicht konsequent schneller trainieren als DRL. Als Vortraining bieten sie lediglich Vorteile in weniger komplexen Szenarien wie Flappy Bird, während bei anspruchsvolleren Aufgaben wie Breakout und dem MuJoCo Walker weder die Trainingsgeschwindigkeit noch die Stabilität signifikant verbessert werden.

Die Untersuchung legt nahe, dass Evolutionäre Strategien zwar eine interessante, ressourcenschonende Alternative darstellen, jedoch nicht als generelles Ersatzverfahren für Deep Reinforcement Learning geeignet sind. Für die Praxis bedeutet dies, dass ES nur in sehr einfachen Umgebungen sinnvoll eingesetzt werden können, während für komplexere Aufgaben weiterhin die traditionellen DRL-Ansätze bevorzugt werden sollten.