Vertrauensbasierte Belohnungsmodellierung verbessert das logische Denken von LLMs

In den letzten Jahren hat sich die Forschung zu großen Sprachmodellen (LLMs) von klassischen Anweisungsanpassungen hin zu Reinforcement‑Learning‑Ansätzen verschoben, die besonders die Fähigkeit zum logischen Denken stärken sollen.

Viele technische Berichte zeigen jedoch, dass regelbasierte Belohnungsmodelle häufig zu unzuverlässigen Argumentationsketten führen. Besonders bei kleineren Modellen entstehen oft fehlerhafte oder inkonsistente Überlegungen, während zufällig korrekte Antworten trotzdem belohnt werden. Dieses Problem erschwert es ressourcenbegrenzten Organisationen, eigene RL‑Trainings durchzuführen.

Die vorgestellte Lösung ist ein neues, auf Vertrauensniveau basierendes Belohnungsmodell. Es bestraft nicht nur falsche Antworten, sondern auch korrekt beantwortete Fragen, die mit geringem Vertrauen beantwortet wurden. Dadurch werden robuste und logisch konsistente Argumentationswege gefördert. Die Wirksamkeit wurde durch statische Tests, Best‑of‑N‑Inference‑Evaluierungen und PPO‑basierte RL‑Trainingsergebnisse nachgewiesen und übertrifft mehrere führende Open‑Source‑Belohnungsmodelle auf diversen STEM‑Benchmarks.

Der Code sowie das Modell stehen unter https://github.com/qianxiHe147/C2RM zur Verfügung.