Neue Bandit-Algorithmen mit Gaussian‑Prior verbessern Lernregret

In einer kürzlich veröffentlichten Studie auf arXiv wird ein neuer Ansatz für Multi‑Armed Bandit‑Probleme vorgestellt, bei denen die Arm‑Belohnungen einer Gaußschen Verteilung folgen und in Cluster gruppiert sind. Solche Strukturen tauchen in vielen praktischen Anwendungen auf, etwa bei mmWave‑Kommunikationen oder bei der Verwaltung von riskanten Portfolios.

Die Autoren bauen auf dem klassischen Thompson‑Sampling‑Algorithmus mit Gaußscher Prior (TSG) auf und entwickeln die Variante TSCG, die speziell für eine zweistufige hierarchische Struktur optimiert ist. Durch die Nutzung dieser Struktur können sie einen niedrigeren Regret‑Grenzwert nachweisen als bei herkömmlichem TSG.

Wenn zusätzlich die Belohnung unimodal ist, führen sie das Verfahren UTSCG ein, das noch geringere Regret‑Grenzen erreicht. Für beide Algorithmen liefern die Autoren theoretische Upper‑Bound‑Analysen und zeigen in numerischen Experimenten, dass die neuen Methoden die Leistung der bestehenden Ansätze deutlich übertreffen.