Heavy‑Tailed Linear Bandits: Gegnerresistenz und Beste aller Welten

In den letzten Jahren hat die Forschung zu Bandit‑Algorithmen mit stark schiefen Fehlerverteilungen stark zugenommen. Besonders die Kombination aus vielen Optionen und heavy‑tailed Rauschen hat das Interesse geweckt, doch bisher wurden die meisten Arbeiten auf rein stochastische Szenarien beschränkt.

Die neue Studie präsentiert einen generellen Rahmen für adversariale Bandit‑Probleme mit heavy‑tailed Rauschen. Durch die Anwendung von Follow‑the‑Regularized‑Leader (FTRL) auf Verlustschätzungen, die um eine gezielt gewählte Bonusfunktion verschoben werden, wird ein robustes Verfahren entwickelt, das sowohl im gegnerischen als auch im stochastischen Umfeld gute Leistungen erbringt.

Ein Highlight ist der erste FTRL‑basierte Best‑of‑Both‑Worlds‑Algorithmus für heavy‑tailed Multi‑Armed Bandits. Er benötigt keine Einschränkung der Truncated‑Non‑Negativity‑Bedingung und erzielt im adversarialen Modus einen Worst‑Case‑Regret von etwa O(T1/ε) sowie im stochastischen Modus einen logarithmisch‑abhängigen Regret von O(log T).

Der Ansatz wird erfolgreich auf den linearen Fall ausgeweitet. Für Bandits mit endlich vielen Armen liefert der neue Algorithmus einen Regret von O(d1/2 T1/ε), was dem besten bekannten Worst‑Case‑Ergebnis in stochastischen Szenarien entspricht. Damit wird erstmals ein adversarialer Algorithmus für heavy‑tailed lineare Bandits mit endlichen Armen vorgestellt.

Zusätzlich wird eine datenabhängige Lernrate eingeführt, die sich an die Stärke des heavy‑tailed Rauschens anpasst. Diese „heavy‑tailed noise aware“-Strategie verbessert die Konvergenzgeschwindigkeit und macht das Verfahren noch flexibler gegenüber unterschiedlichen Rauschprofilen.