IIB-LPO: Neue Methode steigert LLM-Exploration und Genauigkeit

In der Welt des Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) für große Sprachmodelle (LLM) hat die sogenannte Exploration Collapse lange die Fortschritte gehemmt. Zufällige Rollouts führen häufig zu semantisch homogenen Pfaden, wodurch Modelle in eng begrenzte, überoptimierte Verhaltensmuster verfallen. Traditionelle Ansätze, die die Policy-Entropie zur Förderung der Exploration nutzen, stoßen dabei an Grenzen: Globale Entropie-Regularisierung kann zu Belohnungsbetrug führen und unnütze Ausführungen erzeugen, während token‑spezifische Updates die starke Vorurteilskraft vortrainierter Modelle nicht ausreichend berücksichtigen.

Die neue Technik namens Latent Policy Optimization via Iterative Information Bottleneck (IIB‑LPO) löst dieses Problem, indem sie die Exploration von statistischen Token‑Verteilungen auf topologische Zweigungen von Denkpfaden verlagert. IIB‑LPO aktiviert latente Verzweigungen an hoch‑Entropie‑Zuständen, um die Vielfalt der Überlegungswege zu erhöhen, und nutzt das Information‑Bottleneck‑Prinzip sowohl als Filter für Pfade als auch als selbstregulierendes Belohnungssystem. Dadurch wird die Exploration prägnant und gleichzeitig informativ.

Experimentelle Ergebnisse auf vier mathematischen Reasoning‑Benchmarks zeigen, dass IIB‑LPO den aktuellen Stand der Technik übertrifft: Die Genauigkeit steigt um bis zu 5,3 % und die Diversitätsmetriken um 7,4 %. Diese Fortschritte markieren einen bedeutenden Schritt in der Entwicklung von LLM‑Systemen, die sowohl effizient als auch explorativ in ihrer Entscheidungsfindung sind.