ESPO: Entropy Importance Sampling Policy beschleunigt LLM-Fine-Tuning

In der Welt der großen Sprachmodelle (LLM) hat sich die Verstärkungslern-Strategie zunehmend auf gruppenbasierte Optimierungsframeworks wie GRPO und GSPO konzentriert, um bei großem Maßstab stabile Feinabstimmungen zu ermöglichen. Doch ein grundlegendes Dilemma bleibt bestehen: die Balance zwischen Optimierungsgranularität und Trainingsstabilität. GSPO steigert zwar die Robustheit durch sequentielle Optimierung, führt jedoch zu erheblichen Ineffizienzen, weil sein einheitliches Clipping valide Trainingsbeispiele ungenau verwirft – ein Phänomen, das als Gradient‑Underutilization bezeichnet wird – und die gleichmäßige Kreditvergabe die unterschiedlichen Beiträge kritischer Denkschritte nicht erfasst.

Um dieses Problem zu lösen, präsentiert die neue Methode Entropy Importance Sampling Policy Optimization (ESPO). ESPO zerlegt Sequenzen in Gruppen, die anhand ihrer Vorhersage‑Entropie bestimmt werden. Dadurch ermöglicht es zwei zentrale Innovationen: Erstens die Entropy‑Driven Importance Sampling, die die Heterogenität innerhalb einer Sequenz erkennt und nutzt; zweitens die Entropy‑Adaptive Clipping, die dynamisch Vertrauensbereiche je nach Modellunsicherheit anpasst. Diese Kombination vereint fein abgestimmte Kontrolle mit erhöhter Trainingsstabilität.

Umfangreiche Tests an mathematischen Denkbenchmarks zeigen, dass ESPO nicht nur die Konvergenz beschleunigt, sondern auch den aktuellen Stand der Technik übertrifft. Besonders bemerkenswert ist die Verbesserung der Genauigkeit auf dem anspruchsvollen HMMT‑Benchmark, wo ESPO die Trefferquote von 4,4 % auf beeindruckende 13,13 % steigert. Damit eröffnet ESPO neue Perspektiven für effiziente und stabile Feinabstimmungen großer Sprachmodelle.