Stärkung des Chain-of-Thought-Reasonings durch selbstentwickelnde Rubriken

Chain-of-Thought (CoT) ist ein entscheidender Bestandteil der Argumentationsfähigkeit großer Sprachmodelle, doch die direkte Belohnung dieser Denkprozesse gestaltet sich schwierig. Traditionelle Reward‑Modelle erfordern aufwändige menschliche Anmerkungen, während statische Modelle mit sich verändernden CoT‑Verteilungen und möglichen Belohnungsmanipulationen kämpfen.

Um diese Hindernisse zu überwinden, stellt die neue Arbeit RLCER (Reinforcement Learning with CoT Supervision via Self‑Evolving Rubrics) vor. Das Verfahren nutzt selbst vorgeschlagene und sich kontinuierlich anpassende Rubriken, um CoT‑Sequenzen zu bewerten, ohne auf externe Ergebnis‑Belohnungen angewiesen zu sein.

Die Ergebnisse zeigen, dass die selbstentwickelten Rubriken zuverlässige Supervisionssignale liefern und RLCER die Leistung von herkömmlichen, ergebniszentrierten RL‑Ansätzen übertrifft. Darüber hinaus können diese Rubriken als Hinweise im Prompt eingesetzt werden, was die Laufzeitleistung des Modells weiter steigert.

RLCER eröffnet damit einen vielversprechenden, automatisierten Weg, um die Qualität von Chain‑of‑Thought‑Reasoning zu verbessern, ohne auf kostspielige menschliche Annotationen angewiesen zu sein.