LLM-gestützte Banditen: Warm-Start bis 30 % Fehler, danach schlechter

Die rasante Entwicklung großer Sprachmodelle (LLMs) eröffnet neue Wege, um Nutzerpräferenzen zu generieren und Banditen-Algorithmen frühzeitig zu „warm‑starten“. Frühere Studien haben gezeigt, dass synthetische Priors aus LLMs die anfängliche Regret‑Rate deutlich senken können.

In einer systematischen Untersuchung wurde nun geprüft, wie robust diese LLM‑generierten Präferenzen gegenüber Rauschen sind. Bei gut ausgerichteten Domänen bleibt der Warm‑Start bis zu 30 % Korruption wirksam, verliert sein Plus bei etwa 40 % und verschlechtert sich bei mehr als 50 % Fehler.

Wenn die LLM‑Ausgabe systematisch von den tatsächlichen Nutzerpräferenzen abweicht, kann ein Warm‑Start sogar schlechter abschneiden als ein kalter Start – und das schon ohne zusätzliches Rauschen.

Zur Erklärung dieser Phänomene wurde eine theoretische Analyse entwickelt, die den Einfluss von zufälligem Label‑Noise und systematischer Missausrichtung auf die Prior‑Fehler und damit auf das Regret des Banditen aufschlüsselt. Daraus folgt eine klare Bedingung, unter der ein LLM‑basierter Warm‑Start garantiert besser ist als ein kalter Start.

Die Ergebnisse wurden auf mehreren Conjoint‑Datensätzen und mit verschiedenen LLMs validiert. Dabei zeigte sich, dass die geschätzte Ausrichtung zuverlässig vorhersagt, wann ein Warm‑Start die Empfehlungsqualität verbessert oder verschlechtert.