Neue Methode ermöglicht gezielte Steuerung von Agenten in Markov-Prozessen

Forscher haben ein neues Verfahren entwickelt, das es ermöglicht, Agenten in Markov-Entscheidungsprozessen gezielt zu steuern, ohne dass sie neu trainiert werden müssen.

Das Konzept basiert darauf, dass jede Policy durch ihre Besetzungsmaß (occupancy measure) eindeutig bestimmt ist. Durch die Modellierung von Policy‑Repräsentationen als Erwartungswerte von Zustands‑Aktions‑Feature‑Karten über diese Besetzungsmaße können die Autoren eine einheitliche Darstellung für viele Policies erzeugen.

Zur Umsetzung nutzen sie eine set‑basierte Architektur, die eine Sammlung von Zustands‑Aktions‑Beispielen in ein latentes Embedding kodiert. Aus diesem Embedding werden sowohl die Policy als auch ihre Wertfunktionen für mehrere Belohnungen dekodiert.

Ein variationaler generativer Ansatz sorgt für einen glatten latenten Raum, während kontrastives Lernen die Distanzabstände so formt, dass sie mit Unterschieden in den Wertfunktionen korrespondieren. Diese Geometrie erlaubt es, direkt im latenten Raum gradientenbasierte Optimierungen durchzuführen.

Durch diese Technik können die Forscher ein neues Verhaltenssynthese‑Problem lösen: Sie steuern Policies so, dass sie zuvor unbekannte Wertfunktionseinschränkungen erfüllen, ohne zusätzliche Trainingsschritte.

Die Arbeit zeigt, dass die Kombination aus set‑basierten Architekturen, variationalen und kontrastiven Lernmethoden eine vielversprechende Grundlage für die flexible Steuerung von Agenten in komplexen Entscheidungsumgebungen darstellt.