Test‑getriebenes Reinforcement Learning: Mehr Tests statt ein Reward

Reinforcement Learning (RL) wird häufig für die Steuerung von Robotern eingesetzt, doch die Gestaltung der Reward‑Funktion ist oft schwierig und führt zu suboptimalen Aufgabenbeschreibungen. Das neue Test‑Driven Reinforcement Learning (TdRL) schlägt eine Alternative vor: Statt einer einzigen Reward‑Funktion werden mehrere Test‑Funktionen verwendet, um die Aufgabenziele klarer zu definieren.

Die Test‑Funktionen lassen sich in zwei Kategorien einteilen. Pass‑Fail‑Tests bestimmen, ob ein Verhalten das optimale Ziel erreicht, während indikative Tests den Lernprozess anleiten, indem sie Hinweise auf die Nähe zum Ziel geben. Durch diese Trennung wird die Aufgabenformulierung deutlich vereinfacht.

In der theoretischen Analyse wird gezeigt, dass eine Trajektorien‑Rückgabe‑Funktion, die höhere Werte für Trajektorien vergibt, die näher am optimalen Trajektorien‑Set liegen, bei der Maximum‑Entropy‑Policy‑Optimierung zu einer Politik führt, die dem optimalen Set näher ist. Zur Bestimmung dieser Rückgabe‑Funktion wird ein lexikografischer Heuristik‑Ansatz eingeführt, der die relative Distanz zwischen Trajektorien und dem optimalen Set vergleicht.

Die praktische Umsetzung von TdRL wurde auf der DeepMind Control Suite getestet. Die Ergebnisse zeigen, dass TdRL die Leistung von Standard‑RL‑Methoden erreicht oder sogar übertrifft, was die Wirksamkeit eines test‑basierten Ansatzes für komplexe Steuerungsaufgaben unterstreicht.