Parameterraum-Noise steigert KI-Exploration: Neue Methode verbessert Problemlösung

Eine neue Studie zeigt, wie das gezielte Einführen von Parameterraum‑Noise die Exploration in Reinforcement‑Learning‑Modellen mit verifizierbaren Belohnungen deutlich verbessern kann.

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat die Fähigkeit von großen Sprachmodellen, komplexe Probleme zu lösen, bereits erheblich gesteigert. Doch die Forschung hat inzwischen deutlich gemacht, dass RLVR häufig an einer „Exploration‑Decke“ stößt: Statt neue Lösungswege zu entdecken, werden bestehende Lösungs­spuren lediglich neu gewichtet, was bei großen Stichproben­budgets (z. B. Pass‑at‑256) die erzielbaren Fortschritte begrenzt.

Die vorgestellte Methode, PSN‑RLVR, löst dieses Problem, indem sie die Parameter der Policy vor jeder Rollout‑Generierung leicht stört. Diese Parameter‑Störung erzeugt eine zeitlich konsistente, trajektorienbasierte Exploration, die die Kohärenz von langen, chain‑of‑thought‑Strategien besser bewahrt als herkömmliches Action‑Space‑Noise.

Um die dadurch entstehende Diskrepanz zwischen Sampling und Update zu mildern, nutzt PSN‑RLVR trunciertes Importance‑Sampling. Statt auf rechenintensive KL‑basierte Noise‑Kontrolle zurückzugreifen, wird ein schlanker, Echtzeit‑Noise‑Scheduler eingesetzt, der auf semantischer Vielfalt und normalisierter Selbst­gewissheit basiert.

In Kombination mit dem weit verbreiteten RLVR‑Ansatz GRPO – als PSN‑GRPO – zeigt die Methode auf mehreren mathematischen Reasoning‑Benchmarks und Modellfamilien eine konsequente Erweiterung der effektiven Problemlösungs­grenzen. Die Ergebnisse sind deutlich: höhere Pass‑at‑k‑Raten bei großen Sampling‑Budgets und ein klarer Vorsprung gegenüber bisherigen explorationsorientierten RLVR‑Methoden. Gleichzeitig bleibt PSN‑GRPO orthogonal zu anderen Ansätzen und lässt sich somit für zusätzliche Leistungssteigerungen kombinieren.