Neue Methode knackt Exploration-Blockade: Rubric-Scaffolded RL für LLM-Logik

In den letzten Jahren haben große Sprachmodelle (LLMs) gezeigt, dass Reinforcement Learning (RL) die Entwicklung von Denkfähigkeiten fördern kann. Ein zentrales Problem bleibt jedoch, dass RL nur dann besser wird, wenn es aus qualitativ hochwertigen Beispielen lernt – und diese Beispiele selbst entstehen erst durch die Exploration des Modells. Dadurch entsteht ein Teufelskreis: Was nicht erkundet wird, kann nicht gelernt werden.

Die neue Technik namens Rubric‑Scaffolded Reinforcement Learning (RuscaRL) zielt darauf ab, diese Engstelle zu überwinden. Dabei werden checklistenartige Rubriken als explizite Leitfäden in die Aufgabenbeschreibung eingebettet. Sie steuern die Exploration während der Rollout‑Generierung, indem sie das Modell zu vielfältigen, hochwertigen Antworten anleiten. Im Verlauf der Trainingszeit wird die externe Anleitung schrittweise reduziert, sodass das Modell die zugrunde liegenden Denkstrukturen selbstständig internalisiert.

Zusätzlich liefert RuscaRL überprüfbare Belohnungen für die Ausnutzung. Durch die Verwendung der Rubriken als Referenz kann ein robustes „LLM‑as‑a‑Judge“-System Scores erzeugen, die als Grundlage für effektives RL auf allgemeinen Denkaufgaben dienen. Diese Kombination aus gezielter Exploration und verifizierbaren Belohnungen führt zu einer signifikanten Leistungssteigerung.

Umfangreiche Experimente belegen die Überlegenheit von RuscaRL auf verschiedenen Benchmarks. Besonders hervorzuheben ist die Verbesserung des Modells Qwen‑2.5‑7B‑Instruct, das von 23,6 auf 50,3 bei HealthBench‑500 aufstieg und damit GPT‑4.1 übertraf. Diese Ergebnisse zeigen, dass RuscaRL die Grenzen des allgemeinen Denkens von LLMs deutlich erweitert.