Ressourcenschonende Verstärkung für LLMs: One-Shot-Policy-Optimierung

Große Sprachmodelle (LLMs) haben bei komplexen Denkaufgaben beeindruckende Ergebnisse erzielt. Ein vielversprechender Ansatz zur Ausrichtung ihres Verhaltens auf nachvollziehbare Argumentationsketten ist das Reinforcement Learning mit verifizierbaren Belohnungen (RLVR). Trotz seiner Potenziale ist RLVR bislang extrem ressourcenintensiv, weil es umfangreiche Belohnungsdaten und hohe Rollout-Kosten erfordert.

In der vorliegenden Arbeit wird die Frage nach Daten- und Recheneffizienz in RLVR neu beleuchtet. Zunächst wird ein theoretischer Untergrenze für die benötigte Stichprobengröße aufgestellt, die anschließend durch Experimente bestätigt wird: bereits mit einer überraschend geringen Anzahl an Trainingsbeispielen lassen sich starke Leistungen erzielen.

Um die Rechenlast zu reduzieren, wird Dynamic One-Shot Policy Refinement (DoPR) vorgestellt – eine Unsicherheits‑bewusste RL‑Strategie, die pro Batch nur ein besonders informatives Beispiel für die Policy‑Aktualisierung auswählt. Die Auswahl erfolgt anhand von Belohnungsvolatilität und explorationsgetriebenen Akquisitionskriterien.

DoPR senkt die Rollout-Kosten um nahezu ein ganzes Zehnerpotenz‑Level, während die Genauigkeit bei Denkaufgaben konkurrenzfähig bleibt. Damit bietet die Methode einen skalierbaren und ressourcenschonenden Weg, LLMs nachzubilden.

Die Ergebnisse eröffnen einen praktikablen Pfad zu effizienteren und zugänglicheren RL‑basierten Trainingsmethoden für reasoning-intensive LLM‑Anwendungen.