Rubrikbasierte Belohnung steigert KI-Logik in mehreren Fachbereichen

In den letzten Jahren hat die Verstärkungslern‑Technologie die Fähigkeit großer Sprachmodelle, komplexe Probleme zu lösen, deutlich vorangebracht. Trotz dieser Fortschritte konzentrieren sich die meisten Ansätze noch immer auf ein einzelnes Fachgebiet – etwa Mathematik – und nutzen ausschließlich online‑basierte Belohnungssysteme. Diese Einschränkung begrenzt die Erkundung möglicher Lösungswege und hält die Leistungsentwicklung der Modelle an.

Um diese Grenzen zu überwinden, stellt die neue Methode RGR‑GRPO (Belohnung und Anleitung durch Rubriken) vor. Durch den Einsatz von Rubriken erhält das Modell nicht nur präzise, dichte Belohnungen, sondern auch offline‑basierte Leitlinien, die die Exploration in einem viel größeren Lösungsraum ermöglichen. Das Ergebnis ist ein stärkeres, vielseitigeres Lernverhalten, das über die üblichen Online‑RL‑Ansätze hinausgeht.

In umfangreichen Tests auf 14 unterschiedlichen Benchmarks – von Mathematik über Physik und Chemie bis hin zu allgemeinen Logikaufgaben – übertrifft RGR‑GRPO bestehende Reinforcement‑Learning‑Methoden konsequent. Im Vergleich zum verifizierbaren Online‑RL‑Baseline erzielt das System durchschnittliche Verbesserungen von +7,0 % in Mathematik, +5,4 % in Physik, +8,4 % in Chemie und +6,6 % bei allgemeinen Logikaufgaben. Darüber hinaus bleibt die Entropie während des Off‑Policy‑Trainings stabil, und die Pass@k‑Leistung steigt deutlich an, was auf eine nachhaltige Erkundung und effektive Durchbrüche hinweist.