Ohne Belohnungen: Beobachter lernen optimale Politik aus Aktionen
In der neuen Studie zum Inverse Contextual Bandit (ICB) wird untersucht, wie ein Beobachter ohne Zugriff auf Belohnungen die zugrunde liegenden Problemparameter aus rein beobachteten Aktionen rekonstruieren kann.
Während ein Lernender von der Erkundungs- zur Ausnutzungsphase übergeht, werden die Aktionen nicht stationär. Diese Veränderung erschwert es dem Beobachter, die wahren Zielparameter zu identifizieren.
Um dem entgegenzuwirken, schlägt die Arbeit ein einfaches, aber wirkungsvolles Verfahren namens Two‑Phase Suffix Imitation vor. Dabei werden Daten aus einer anfänglichen Burn‑In‑Phase verworfen und die empirische Risikominimierung ausschließlich auf die Daten der folgenden Imitationsphase angewendet.
Die Autoren leiten daraus einen Vorhersage‑Entscheidungsverlust‑Grenzwert ab, der den Bias‑Variance‑Trade‑off in Abhängigkeit von der gewählten Burn‑In‑Länge explizit beschreibt.
Erstaunlicherweise zeigt die Analyse, dass ein belohnungsfreier Beobachter mit einer Konvergenzrate von etwa O(1/√N) auskommt – ein Ergebnis, das der asymptotischen Effizienz eines vollständig belohnungsbewussten Lerners entspricht.
Damit demonstriert die Arbeit, dass ein passiver Beobachter aus den reinen Aktionen des Lernenden die optimale Politik rekonstruieren kann und damit eine Leistung erreicht, die mit der des Lernenden selbst vergleichbar ist.