IIB-LPO: Neue Methode steigert LLM-Exploration und Genauigkeit
In der Welt des Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) für große Sprachmodelle (LLM) hat die sogenannte Exploration Collapse lange die Fortschritte gehemmt. Zufällige Rollouts führen häufig zu semantisch homogenen Pfaden, wodurch Modelle in eng begrenzte, überoptimierte Verhaltensmuster verfallen. Traditionelle Ansätze, die die Policy-Entropie zur Förderung der Exploration nutzen, stoßen dabei an Grenzen: Globale Entropie-Regularisierung kann zu Belohnungsbetrug führen und unnütze Ausführungen erzeugen, während token‑spezifische Updates die starke Vorurteilskraft vortrainierter Modelle nicht ausreichend berücksichtigen.
