Strukturerkennung optimiert kontextuelles Reinforcement Learning

Kontextuelles Reinforcement Learning (CRL) befasst sich mit der Lösung einer Reihe verwandter Contextual Markov Decision Processes (CMDPs), die sich in ihren Kontextvariablen unterscheiden. Traditionelle Ansätze wie unabhängiges Training oder Multi‑Task‑Learning stoßen dabei an ihre Grenzen: sie erfordern enorme Rechenressourcen oder führen zu negativem Transfer.

Ein neuer Ansatz, Model‑Based Transfer Learning (MBTL), hat gezeigt, dass gezielte Auswahl weniger Aufgaben und Zero‑Shot‑Transfer die Effizienz deutlich steigern können. Doch CMDPs weisen unterschiedliche strukturelle Eigenschaften auf, sodass die optimale Aufgaben­auswahl je nach Problem variiert.

Um diesem Problem zu begegnen, präsentiert die Studie das Framework Structure Detection MBTL (SD‑MBTL). Es erkennt dynamisch die zugrunde liegende Generalisierungsstruktur eines CMDPs und wählt anschließend den passenden MBTL‑Algorithmus aus.

Ein konkretes Beispiel ist die „Mountain“-Struktur, bei der die Generalisierungsleistung mit zunehmendem Kontextunterschied von der Trainingsleistung des Zielaufgabe abnimmt. Für solche Fälle schlägt M/GP‑MBTL vor, die Struktur zu erkennen und zwischen einem auf Gaußschen Prozessen basierenden Ansatz und einem Clustering‑Ansatz zu wechseln.

Umfangreiche Experimente – sowohl mit synthetischen Daten als auch mit CRL‑Benchmarks in Bereichen wie kontinuierlicher Kontrolle, Verkehrssteuerung und landwirtschaftlichem Management – zeigen, dass M/GP‑MBTL die bisher beste Methode um 12,49 % übertrifft, gemessen an einem aggregierten Leistungsmaß.

Diese Ergebnisse unterstreichen das enorme Potenzial von Online‑Strukturerkennung, um die Auswahl von Quellaufgaben gezielt zu steuern und damit die Effizienz von Kontext‑Reinforcement‑Learning‑Systemen nachhaltig zu verbessern.