MinPRO: Prefix-Importance-Ratio stabilisiert RL-Optimierung von LLMs

In der jüngsten Veröffentlichung auf arXiv wird gezeigt, dass die Optimierung von Sprachmodellen nach dem Training mit Verstärkungslernen (RL) stark von der Art der Wichtigkeitskorrektur abhängt. Traditionell wird ein token‑basiertes Importance‑Sampling‑Verhältnis verwendet, weil es einfach zu berechnen ist. Doch bei stark abweichenden Sampling‑ und Ziel‑Policys führt diese token‑weise Korrektur zu instabilen Trainingsverläufen.

Die Autoren stellen fest, dass die theoretisch korrekte Korrektur das Prefix‑Importance‑Ratio ist. Eine Vereinfachung auf token‑Ebene kann die Stabilität gefährden. Um dem entgegenzuwirken, schlagen sie das neue Ziel „Minimum Prefix Ratio“ (MinPRO) vor, das das kumulative Prefix‑Ratio durch ein nicht kumulatives Surrogat ersetzt, das auf dem minimalen token‑Level‑Ratio im bisherigen Prefix basiert.

Durch umfangreiche Experimente mit dichten Modellen und Mixture‑of‑Experts‑Architekturen, die mehrere mathematische Reasoning‑Benchmarks abdecken, demonstriert MinPRO eine deutlich verbesserte Trainingsstabilität und höhere Spitzenleistungen in Off‑Policy‑Szenarien. Die Ergebnisse deuten darauf hin, dass die Prefix‑basierte Korrektur ein entscheidender Schritt zur sicheren und effizienten Optimierung großer Sprachmodelle ist.