MAVRL: Belohnungsfunktionen aus mehreren Feedbacktypen lernen – variationaler Inferenz

Die neue Methode MAVRL (Multi‑Feedback Reward Learning) löst ein langjähriges Problem in der Robotik und im maschinellen Lernen: Wie kann man Belohnungsfunktionen gleichzeitig aus unterschiedlichen Feedback‑Quellen wie Demonstrationen, Vergleichen, Bewertungen und Stop‑Signalen erlernen, ohne sie vorher manuell zu gewichten?

Traditionell werden solche Feedback‑Typen einzeln verarbeitet oder mit willkürlichen Gewichtungen kombiniert. MAVRL dagegen formuliert das Problem als bayessche Inferenz über eine gemeinsame latente Belohnungsfunktion. Jeder Feedback‑Typ liefert dabei seine eigene Likelihood, sodass die unterschiedlichen Signale direkt in die Modellschätzung einfließen.

Zur effizienten Lösung nutzt MAVRL eine skalierbare, amortisierte Variationsinferenz. Ein gemeinsamer Belohnungs‑Encoder wird zusammen mit feedback‑spezifischen Likelihood‑Decoder trainiert, wobei ein einziger Evidence‑Lower‑Bound (ELBO) optimiert wird. Dadurch entfällt die Notwendigkeit, Feedback in ein gemeinsames Intermediärformat zu überführen oder manuell Gewichtungen festzulegen.

In umfangreichen Tests mit diskreten und kontinuierlichen Steuerungsaufgaben übertrifft MAVRL die einzelnen Feedback‑Baselines deutlich. Die gemeinsam inferierten Belohnungs‑Posterioren nutzen komplementäre Informationen, führen zu robusteren Policies gegen Umgebungsstörungen und liefern gleichzeitig Unsicherheits­schätzungen, die als interpretierbare Signale für Modellvertrauen und Konsistenz zwischen Feedback‑Typen dienen.

Mit MAVRL wird das Lernen von Belohnungsfunktionen aus heterogenen Feedback‑Quellen nicht nur einfacher, sondern auch zuverlässiger – ein bedeutender Schritt für die Entwicklung adaptiver, datengetriebener Systeme.