Mehr als Vergleiche: Dueling‑Bandits mit erweitertem Feedback

In der Welt der personalisierten Systeme steht die effiziente Erfassung menschlicher Präferenzen im Fokus. Ein neues Papier aus dem arXiv‑Repository präsentiert einen innovativen Ansatz, der die klassische Dueling‑Bandit‑Methode über den Tellerrand hinausführt. Durch die Integration von „erweitertem“ Feedback – also zusätzlichen, nicht‑vergleichsbezogenen Informationen – wird die bisherige Abhängigkeit von parametrisierten Belohnungsmodellen reduziert.

Traditionelle Dueling‑Bandit‑Algorithmen arbeiten ausschließlich mit Paarvergleichen und stoßen bei spärlichem Feedback an ihre Grenzen. Häufige Lösungen setzen auf starre, parametrisierte Modelle, die bei Missannahmen schnell versagen. Der neue Ansatz nutzt stattdessen erweiterte Konfidenzgrenzen, die unter allgemeinen Konzentrationsbedingungen funktionieren. Dadurch bleibt das Verfahren modellfrei und kann sich flexibel an unterschiedliche Datenstrukturen anpassen.

Die Autoren führen eine gründliche Regret‑Analyse durch, um die Leistungsbilanz des Systems zu bewerten. In mehreren Benchmarks – darunter Empfehlungssysteme, Multi‑Objective‑Optimierung und die Optimierung von Antworten großer Sprachmodelle – zeigt der Prototyp eine konkurrenzfähige Performance. Damit eröffnet sich die Möglichkeit, interaktive Präferenzabfrage in einer breiteren Palette von Anwendungen effizient und theoretisch fundiert einzusetzen.