Stochastische Belohnungsmaschinen: Neues Lernverfahren für RL

In der Forschung zu Reinforcement Learning (RL) sind Belohnungsmaschinen ein bewährtes Werkzeug, um Probleme mit seltenen und komplexen Belohnungen zu lösen. Bisher gingen die meisten Algorithmen jedoch davon aus, dass die Belohnungen frei von Rauschen sind – ein Ideal, das in realen Anwendungen selten zutrifft.

Um diese Einschränkung zu überwinden, stellen die Autoren ein neues Konzept vor: stochastische Belohnungsmaschinen. Diese erweitern klassische Modelle um die Möglichkeit, zufällige Belohnungen zu verarbeiten. Ein dazugehöriger Lernalgorithmus, der auf Constraint‑Solving basiert, kann minimalistische stochastische Belohnungsmaschinen aus den Erfahrungen eines RL‑Agents extrahieren.

Der Ansatz lässt sich problemlos mit bestehenden RL‑Algorithmen kombinieren und garantiert, dass die Agenten im Limit eine optimale Politik erreichen. In zwei Fallstudien zeigte sich, dass das Verfahren sowohl bestehende Methoden als auch naive Ansätze zur Handhabung verrauschter Belohnungen übertrifft.