Stackelberg-Spiel optimiert Reward-Shaping für LLM-Alignment

Neues Forschungsergebnis aus dem arXiv-Preprint Reward Shaping for Inference-Time Alignment: A Stackelberg Game Perspective zeigt, wie man die Belohnungsmodelle für große Sprachmodelle (LLMs) unter Berücksichtigung von KL-Regularisierung optimal gestaltet. Durch die Analyse des Problems als Stackelberg-Spiel wird deutlich, dass herkömmliche Methoden, die das Belohnungsmodell direkt aus Nutzervorlieben ableiten, nicht die bestmögliche Nutzerzufriedenheit erreichen. Die KL-Regularisierung führt dazu, dass das Modell Vorurteile aus der Basis-Policy übernimmt, die im Widerspruch zu den tatsächlichen Präferenzen der Nutzer stehen.

Die Autoren schlagen ein einfaches Reward‑Shaping-Verfahren vor, das die optimale Belohnungsstruktur annähert, ohne die Gefahr von Reward‑Hacking zu erhöhen. Durch gezielte Verstärkung der gewünschten Ausgaben wird die Bias‑Übernahme reduziert, während gleichzeitig das Risiko von Manipulationen minimiert bleibt. Das Verfahren lässt sich nahtlos in bestehende Alignment‑Methoden integrieren und verursacht nur einen geringen Overhead.

In umfangreichen Experimenten zur Alignment‑Optimierung während der Inferenzzeit konnte das neue Verfahren die durchschnittliche Belohnung signifikant steigern. Die Win‑Tie‑Raten übertrafen bei allen Baselines 66 % und wurden über verschiedene Evaluationsszenarien hinweg konsistent erzielt. Diese Ergebnisse deuten darauf hin, dass ein Stackelberg‑basiertes Reward‑Shaping einen vielversprechenden Ansatz für die praktische Anwendung von LLM‑Alignment darstellt.