MORSE: Automatisches Reward‑Shaping für Multi‑Objective‑Umgebungen

In einer neuen Veröffentlichung auf arXiv wird das Framework MORSE vorgestellt, das die Gestaltung von Belohnungsfunktionen in Reinforcement‑Learning‑Systemen revolutioniert. MORSE kombiniert automatisch mehrere von Menschen erstellte Heuristiken zu einer einzigen, optimierten Belohnung.

Der Ansatz nutzt ein bi‑level‑Optimierungsmodell: Im inneren Zyklus wird eine Policy trainiert, um die aktuelle, geformte Belohnung zu maximieren. Im äußeren Zyklus wird die Belohnungsfunktion selbst angepasst, um die Gesamtleistung der Aufgabe zu verbessern. Durch gezielte Zufälligkeit im Shaping-Prozess – gesteuert von der aktuellen Aufgabenleistung und dem Vorhersagefehler eines fest initialisierten neuronalen Netzes – wird die Exploration im Belohnungsraum gefördert und das Risiko, in suboptimale lokale Minima zu geraten, reduziert.

Experimentelle Tests in den MuJoCo‑ und Isaac‑Sim‑Umgebungen zeigen, dass MORSE mehrere Ziele gleichzeitig ausbalanciert und dabei Leistungen erzielt, die denen von manuell abgestimmten Belohnungen entsprechen. Das System beweist damit, dass automatisierte Reward‑Shaping‑Methoden nicht nur effizient, sondern auch praktisch einsetzbar sind, um komplexe, mehrzielige Robotikaufgaben zu meistern.