FSPO: Fairness bei Längen in Sequenz‑RL neu definiert

In einer neuen Veröffentlichung auf arXiv präsentiert ein Forschungsteam die Methode FSPO (Fair Sequence Policy Optimization), die das Problem der Längenungleichheit in sequenzbasierten Reinforcement‑Learning‑Algorithmen löst. Durch die direkte Anpassung des Clipping‑Mechanismus im Bereich der Importance‑Sampling‑Gewichte stellt FSPO sicher, dass kurze und lange Antworten gleichermaßen berücksichtigt werden.

Der Ansatz basiert auf einer theoretischen Messgröße namens Length Reweighting Error (LRE). Der Autor*innen zufolge garantiert ein geringer LRE eine hohe Ähnlichkeit zwischen den geklippten und den wahren Updates, was die Stabilität des Lernprozesses verbessert. FSPO nutzt ein einfaches, Gaussian‑inspiriertes Verfahren: Der Log‑IS‑Rang einer Sequenz wird innerhalb eines Bands geklippt, das einen KL‑korrigierten Driftterm enthält und sich proportional zur Quadratwurzel der Sequenzlänge skaliert.

Experimentelle Ergebnisse zeigen, dass FSPO die Clip‑Raten über verschiedene Längenklassen hinweg ausgleicht, das Training stabilisiert und in mehreren Evaluationsdatensätzen sämtliche Baselines übertrifft. Damit liefert FSPO einen bedeutenden Fortschritt für die Entwicklung von Sprachmodellen, die fair und ausgewogen auf unterschiedliche Antwortlängen reagieren.