Selbstverbessernde RL: LLMs meistern offene Aufgaben ohne externe Belohnungen

Reinforcement Learning (RL) hat gezeigt, dass große Sprachmodelle (LLMs) ihre Fähigkeiten erheblich steigern können. Bei offenen Aufgaben bleibt jedoch die Herausforderung bestehen, weil die Ergebnisse zu subjektiv sind, um verifizierbare Belohnungen zu liefern, und weil RL aus menschlichem Feedback (RLHF) auf externe Signale angewiesen ist.

Die neue Methode Self‑Examining Reinforcement Learning (SERL) löst diese Probleme, indem das LLM selbst sowohl als Akteur (Actor) als auch als Richter (Judge) fungiert. Durch Copeland‑basierte Paarvergleichs-Belohnungen werden die Antworten des Actors bewertet, während ein Selbstkonsistenz‑Reward die Zuverlässigkeit des Judges stärkt. Dieser wechselseitige Prozess verbessert kontinuierlich beide Rollen und liefert robuste, interne Belohnungen ohne externe Eingriffe.

In Experimenten konnte SERL die Leistung von Qwen3‑8B auf dem AlpacaEval‑2 Benchmark von 52,37 % auf 59,90 % steigern – ein deutlicher Fortschritt gegenüber bisherigen selbstverbessernden Ansätzen. Darüber hinaus erreicht das Modell eine Performance, die mit deutlich größeren Modellen wie Qwen3‑32B vergleichbar ist, und demonstriert damit die Effektivität und Robustheit von SERL bei offenen Aufgaben.