Bayessches Offline‑RL ohne Konservatismus erreicht neue Rekorde
Ein neues Forschungsergebnis aus dem Bereich des Offline‑Reinforcement Learning (RL) zeigt, dass ein bayesscher Ansatz ohne konservative Einschränkungen die Leistung von Modellen deutlich steigern kann. Statt die Auswahl von Aktionen durch Straftermine oder kurze Planungszeiträume zu beschränken, modelliert die Methode eine Posteriorverteilung über mögliche Weltmodelle und trainiert einen Agenten, der auf der gesamten Historie basiert, um erwartete Belohnungen zu maximieren.
Im ersten Schritt wird in einem Bandit‑Setup demonstriert, dass die bayessche Strategie besonders bei Daten von niedriger Qualität überzeugt, wo konservative Verfahren versagen. Anschließend wird das Konzept auf realistische Aufgaben übertragen. Dabei spielen zwei Designentscheidungen eine zentrale Rolle: die Verwendung von Layer‑Normalization im Weltmodell und eine adaptive Planung über lange Horizonte. Diese Maßnahmen reduzieren die Fehlerakkumulation und verhindern eine Überbewertung von Werten.
Das daraus resultierende Verfahren, genannt Neubay, setzt auf das neutrale bayessche Prinzip und erreicht auf den D4RL‑ und NeoRL‑Benchmarks Leistungen, die den führenden konservativen Algorithmen gleichkommen oder sie sogar übertreffen. Besonders bemerkenswert ist, dass Neubay mit Planungshorizonten von mehreren hundert Schritten arbeitet – ein Ergebnis, das gängige Annahmen über die Notwendigkeit kurzer Horizonte in Frage stellt.
Die Autoren geben zudem klare Kriterien an, wann ein bayesscher Ansatz gegenüber konservativen Methoden vorteilhaft ist, und legen damit die Grundlage für eine neue Richtung in Offline‑ und modellbasiertem RL. Diese Arbeit markiert einen wichtigen Schritt hin zu robusteren und generalisierbareren Lernsystemen, die ohne strenge Konservatismus‑Regeln auskommen.