TEB: Task‑bewusste Exploration beschleunigt visuelles Reinforcement Learning

In der Forschung zu visuellen Reinforcement‑Learning‑Algorithmen bleibt die effiziente Erkundung bei sparsamen Belohnungen ein zentrales Problem. Die Hauptursache liegt in der großen Anzahl von task‑irrelevanten Variationen, die die Lernprozesse stören. Obwohl intrinsische Explorationstechniken Fortschritte gemacht haben, setzen viele Ansätze auf niedrigdimensionale Zustände oder fehlen ihnen task‑spezifische Strategien, was ihre Robustheit in Bilddomänen einschränkt.

Um diese Lücke zu schließen, wurde die Methode TEB (Task‑Aware Exploration via a Predictive Bisimulation Metric) vorgestellt. TEB verbindet task‑relevante Repräsentationen eng mit der Exploration, indem es eine prädiktive Bisimulationsmetrik nutzt. Diese Metrik dient nicht nur dazu, verhaltensbasierte Aufgabenrepräsentationen zu erlernen, sondern misst auch die intrinsische Neuheit innerhalb des gelernten latenten Raums.

Ein zentrales theoretisches Innovation von TEB ist die Vermeidung von Repräsentationskollaps bei sparsamen Belohnungen. Durch die Einführung eines einfachen, aber effektiven vorhergesagten Belohnungsdifferentials wird die Bisimulationsmetrik stabilisiert. Aufbauend darauf werden potentialbasierte Explorationsboni entwickelt, die die relative Neuheit benachbarter Beobachtungen im latenten Raum quantifizieren.

Umfangreiche Experimente auf den Benchmark‑Suiten MetaWorld und Maze2D zeigen, dass TEB die Erkundungsfähigkeit deutlich steigert und aktuelle Baselines übertrifft. Die Ergebnisse deuten darauf hin, dass task‑bewusste Exploration in visuellen Reinforcement‑Learning‑Umgebungen ein entscheidender Schritt zur effizienten Lernleistung darstellt.