Effiziente Aktionsauswahl in großen Aktionsräumen: Von Banditen zu MDPs

Wissenschaftler haben einen neuen Ansatz entwickelt, um aus riesigen Aktionsräumen eine kleine, aber repräsentative Teilmenge zu wählen. Dieser Fortschritt ist besonders relevant für Bereiche wie Bestandsmanagement und Empfehlungssysteme, wo das direkte Lernen über alle möglichen Aktionen praktisch unmöglich ist.

Der Kern der Methode besteht darin, für jede Umgebung einer Familie ein festes Set von Aktionen zu bestimmen, das stets eine nahezu optimale Wahl enthält. So kann das Lernen effizienter gestaltet werden, ohne jede einzelne Aktion auswerten zu müssen. Das Konzept erweitert frühere Ergebnisse aus dem Bereich der Meta‑Banditen auf die allgemeinere Klasse der Markov Decision Processes (MDPs).

Die Autoren zeigen, dass ihr Algorithmus unter einem entspannten, nicht zentrierten sub‑Gaussischen Prozessmodell – welches größere Umweltheterogenität zulässt – Leistungen liefert, die mit der Nutzung des gesamten Aktionsraums vergleichbar sind. Damit bietet die Methode eine rechnerisch und sample‑effiziente Lösung für große kombinatorische Entscheidungsprobleme unter Unsicherheit.