Meta‑RL nutzt Symmetrie: Geometrische Methode ermöglicht globale Generalisierung

Meta‑Reinforcement‑Learning (Meta‑RL) generalisiert bislang meist über die Glattheit der Aufgabenkodierung. Diese Strategie erfordert eine dichte Abdeckung des Aufgabenraums und nutzt die reichhaltige Struktur, die dort verborgen liegt, nicht aus. Die neue Arbeit präsentiert einen geometrischen Ansatz, bei dem der Aufgabenraum eine „erbliche Geometrie“ erhält, die aus den inhärenten Symmetrien des zugrunde liegenden Systems abgeleitet wird.

Der Agent nutzt dabei eine bereits erlernte Politik, indem er Zustände und Aktionen über Lie‑Gruppen­transformationen transformiert. Damit wird Meta‑RL von einer reinen glatten Extrapolation zu einer Symmetrie‑Entdeckungsaufgabe umgewandelt, die es dem Agenten erlaubt, weit über die unmittelbaren Trainingsaufgaben hinaus zu generalisieren. Wenn der Aufgabenraum aus den Symmetrien des Systems abgeleitet ist, kann er in einen Untergruppen­raum dieser Symmetrien eingebettet werden, der linearisierbar, zusammenhängend und kompakt ist – Eigenschaften, die effizientes Lernen und schnelle Inferenz ermöglichen.

Zur Erkennung dieser Strukturen wird eine differenzielle Symmetrie‑Entdeckungsmethode entwickelt, die funktionale Invarianz­bedingungen zusammenfasst und dadurch die numerische Stabilität sowie die Stichproben­effizienz gegenüber herkömmlichen funktionalen Ansätzen verbessert. In einem zweidimensionalen Navigations­experiment rekonstruiert die Methode die wahre Symmetrie exakt und generalisiert über den gesamten Aufgabenraum, während ein gängiges Basismodell nur in der Nähe der Trainingsaufgaben funktioniert.