Manifold-Reshaping Policy Optimization lässt LLMs über ihre Grenzen hinaus denken

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat gezeigt, dass große Sprachmodelle (LLMs) ihre Fähigkeit zum logischen Denken deutlich verbessern können. Gleichzeitig stellt die Forschung die Frage, ob RL wirklich neue Denkfähigkeiten erschließt oder lediglich vorhandene latente Potenziale ausrichtet. Die Kritik beruht auf der Annahme, dass die Exploration innerhalb des vom vortrainierten Modell vorgegebenen Low‑Rank‑Bias‑Manifolds bleibt.

In der aktuellen Arbeit wird diese Annahme hinterfragt. Durch gezielte geometrische Interventionen soll der latente Denkraum tatsächlich erweitert werden. Das vorgeschlagene Verfahren, Manifold‑Reshaping Policy Optimization (MRPO), arbeitet in zwei Schritten: Zunächst wird mit Spectral Orthogonal Exploration (SOE) die Policy-Initialisierung in den Nullraum des Bias‑Manifolds verschoben. Anschließend wird ein Effective‑Rank‑Regularisierungsterm in die Optimierungsfunktion integriert, um hochdimensionale Denkpfade zu fördern und die Entropie‑Reduktion traditioneller RL-Methoden zu überwinden.

Die Ergebnisse sind beeindruckend: Ein 4‑Billionen‑Parameter‑Modell erzielt mit MRPO Spitzenleistungen bei mathematischen Aufgaben und übertrifft sogar größere Modelle wie Qwen3‑32B. Damit wird die Grenze der Denkfähigkeit von LLMs deutlich verschoben und ein neuer Standard für die Optimierung von Rechenmodellen gesetzt. Der zugehörige Code ist frei verfügbar unter https://anonymous.4open.science/r/MRPO-D57B/.