SPIN: Beschleunigt Offline RL in großen diskreten Aktionsräumen

In der Welt des Reinforcement Learning stellen diskrete kombinatorische Aktionsräume ein enormes Problem dar: die Suche nach einer gültigen Kombination aus mehreren Teilaktionen erfordert das Durchsuchen einer exponentiell großen Menge möglicher Aktionen. Traditionelle Ansätze vereinfachen die Politik­entwicklung, indem sie die Unabhängigkeit der Teilaktionen annehmen – ein Modell, das häufig zu inkohärenten oder sogar ungültigen Aktionen führt. Andere Methoden versuchen, die Struktur der Aktionen und die Steuerung gleichzeitig zu erlernen, was jedoch langsam und instabil bleibt.

Die neue Methode namens Structured Policy Initialization (SPIN) löst dieses Problem elegant. SPIN besteht aus zwei aufeinanderfolgenden Phasen: Zunächst wird ein Action Structure Model (ASM) vortrainiert, um die zulässige Aktionsmenge präzise zu erfassen. Anschließend wird diese Darstellung eingefroren und mit leichtgewichtigen Policy‑Köpfen weiter trainiert, die die Steuerung übernehmen. Durch diese Trennung von Struktur und Kontrolle wird die Lernzeit drastisch reduziert.

In anspruchsvollen Benchmarks des Diskreten DM Control-Frameworks erzielt SPIN beeindruckende Ergebnisse: Die durchschnittliche Rückgabe steigt um bis zu 39 % im Vergleich zum aktuellen Stand der Technik, während die Konvergenzzeit um bis zu 12,8‑fach verkürzt wird. Diese Fortschritte markieren einen bedeutenden Schritt vorwärts für Offline‑RL in großen diskreten Aktionsräumen und eröffnen neue Möglichkeiten für komplexe Entscheidungsaufgaben.