Neue Bandit-Strategie adaptiert sich an veränderte Datenverteilungen

Ein neues arXiv-Preprint (ID 2508.15966v1) präsentiert einen innovativen Ansatz für Kontextbanditen, die mit sich ändernden Datenverteilungen konfrontiert sind.

Die Autoren untersuchen, wie man bei Vektorbelohnungen, die nach einem vorgegebenen Präferenzkegel geordnet sind, lernen kann, wenn die Verteilung der Kontextdaten im Zeitverlauf verschiebt.

Sie stellen eine adaptive Diskretisierungs- und optimistische Eliminationsstrategie vor, die sich automatisch an die zugrunde liegende Verteilungsverschiebung anpasst und somit die Lernleistung verbessert.

Zur Bewertung dieser Strategie führen die Forscher das Konzept des Präferenz-basierten Regrets ein, das die Distanz zwischen den Pareto-Fronten misst und damit die Qualität einer Politik in mehrdimensionalen Belohnungsszenarien quantifiziert.

Durch die Ableitung von oberen Schranken für das Präferenz-basiertes Regret unter verschiedenen Annahmen zur Art der Verteilungsverschiebung zeigen die Autoren, dass ihre Methode die bekannten Resultate für den Fall ohne Verschiebung sowie für klassische Vektorbelohnungen erweitert und gleichzeitig die Abhängigkeit von Problemparametern in Gegenwart von Verschiebungen elegant handhabt.