Tape: Benchmark für Reinforcement Learning – Regelwechsel testen

Forscher haben Tape entwickelt, ein neues Benchmark-Tool, das Reinforcement‑Learning‑Algorithmen gezielt auf ihre Fähigkeit prüft, sich an veränderte Regeln anzupassen. Durch die Nutzung eindimensionaler Zellulärer Automaten bleibt der Beobachtungs‑ und Aktionsraum konstant, während die Übergangsregeln variieren. So lässt sich das Verhalten von Modellen unter Out‑of‑Distribution‑Bedingungen (OOD) exakt beobachten.

In einer umfassenden Studie wurden klassische modellfreie Baselines, modellbasierte Planungsansätze mit selbstlernenden Weltmodellen sowie Meta‑RL‑Methoden, die Aufgaben inferieren, miteinander verglichen. Das Ergebnis zeigte ein klares Muster: Algorithmen, die im In‑Distribution‑Bereich stark sind, können bei unbekannten Regelwechseln dramatisch versagen. Zudem kann eine hohe Varianz in OOD‑Tests die Rangfolge der Methoden unzuverlässig machen, wenn die Experimente nicht ausreichend repliziert werden.

Um diese Herausforderungen zu adressieren, stellt das Tape-Projekt drei zentrale Beiträge bereit: Erstens standardisierte OOD‑Protokolle, die konsistente Testbedingungen gewährleisten. Zweitens klare statistische Reporting‑Anforderungen, einschließlich Seed‑Reproduzierbarkeit, Konfidenzintervalle und Hypothesentests. Drittens informative Theoretiken, die die Beziehung zwischen Entropiereduktion, bedingter gegenseitiger Information und erwarteter posteriorer KL‑Divergenz aufzeigen. Diese Erkenntnisse klären, welche Unsicherheitsreduktion unter Regelwechseln tatsächlich garantiert werden kann.