Neue Theorie zeigt, wie Entropie in RL die Leistung von LLMs steuert

Reinforcement Learning (RL) hat sich als entscheidender Ansatz zur Verbesserung der Entscheidungsfähigkeit großer Sprachmodelle (LLMs) etabliert. Ein häufiges Hindernis beim skalierbaren Training ist jedoch der rasche Zusammenbruch der Policy‑Entropie, der zu vorzeitiger Konvergenz und Leistungsstagnation führt. In einer neuen theoretischen Analyse werden zwei Entropie‑Kontrollstrategien verglichen: die klassische Entropie‑Regularisierung und ein neu vorgeschlagenes, kovarianzbasiertes Verfahren.

Die Autoren entwickeln ein einheitliches Rahmenwerk für die Entropiedynamik bei Softmax‑Parametrisierung und zeigen, dass die Entropieänderung durch die Kovarianz zwischen Log‑Wahrscheinlichkeiten und Logit‑Updates bestimmt wird. Die klassische Regularisierung erzeugt eine dichte, dauerhafte Verzerrung, die die stationäre Bedingung verändert und zu suboptimalen Policies führt. Im Gegensatz dazu reguliert das kovarianzbasierte Verfahren selektiv ein spärliches Subset hochkorrigierter Tokens und erreicht asymptotisch Unverzerrtheit, wenn der Regularisierungskoeffizient abgeschwächt wird.

Diese Erkenntnisse liefern klare Richtlinien für die Entropie‑Kontrolle beim Post‑Training von LLMs und haben weitreichende Implikationen für die Skalierung von RL auf größere Modelle sowie komplexere Denkaufgaben. Durch die gezielte Regulierung der Entropie können Entwickler effizientere und leistungsfähigere Sprachmodelle realisieren.