Metriken zur Aufgabenkomplexität in Robotik: Ergebnisse überraschen

Reinforcement Learning hat in den letzten Jahren enorme Fortschritte in Robotik und Sprachverarbeitung erzielt. Ein zentrales Problem bleibt jedoch die Messung der Aufgabenkomplexität, die für sinnvolle Benchmarks und effektive Lernkurven unerlässlich ist.

Während in tabellarischen Umgebungen zahlreiche etablierte Metriken existieren, fehlen vergleichbare Kennzahlen für nicht-tabellarische Aufgaben. Zu den wenigen vorhandenen Ansätzen gehören die Analyse zufälliger Politiken (Random Weight Guessing, RWG) sowie die informations­theoretischen Messgrößen Policy Information Capacity (PIC) und Policy‑Optimal Information Capacity (POIC), die beide auf RWG basieren.

In einer aktuellen Studie wurden diese Methoden an einer Reihe von Robotik‑Manipulationsaufgaben mit bekanntem Komplexitätsgrad getestet. Dabei wurden sowohl dichte als auch spärliche Belohnungsformeln verwendet, um die Robustheit der Metriken zu prüfen.

Die Ergebnisse zeigen, dass die Messung der Komplexität noch immer feine Nuancen aufweist. Unter identischer Belohnungsformel deutet PIC darauf hin, dass ein zweigliedriges Roboterarm‑Setup einfacher sei als ein ein‑gliedriges – ein Ergebnis, das im Widerspruch zur klassischen Steuerungs‑ und RL‑Erfahrung steht, wonach das zweigliedrige System komplexer ist.

Ähnlich liefert POIC die überraschende Aussage, dass Aufgaben mit spärlichen Belohnungen leichter seien als solche mit dichten Belohnungen. Beide Metriken widersprechen damit dem üblichen Verständnis und den empirischen Befunden aus dem RL‑Bereich.

Diese Erkenntnisse unterstreichen die Notwendigkeit, über RWG‑basierte Kennzahlen hinauszugehen und verlässlichere Messgrößen für die Komplexität von Aufgaben in nicht‑tabellarischen RL‑Umgebungen zu entwickeln.