Reinforcement Learning nach dem Training: Mit gemischten Belohnungen Sudoku besser lösen

Reinforcement‑Learning‑Posttraining optimiert üblicherweise nur einen einzigen Skalarwert und nutzt dabei kaum die Struktur, wie Lösungen tatsächlich erzeugt werden. In einer neuen Studie wurde untersucht, ob ein zusätzlicher, skalierter Hinweis auf eine „kanonische“ Lösungsreihenfolge – der Reihenfolge, die ein klassischer Solver nutzt – die Leistung verbessern kann, selbst wenn das Modell zuvor auf zufälligen Lösungssequenzen feinabgestimmt wurde.

Das Experiment wurde auf Sudoku‑Bretten durchgeführt. Zunächst wurde ein Transformer‑Modell mit herkömmlichem Fine‑Tuning auf zufälligen Lösungsreihenfolgen trainiert. Anschließend wurde das Modell mit Group Relative Policy Optimization (GRPO) weitertrainiert, wobei zwei Belohnungen gleichzeitig berücksichtigt wurden: die klassische Zellgenauigkeit und eine neue Reihenfolgebelohnung, die steigt, wenn die vom Modell erzeugte Reihenfolge mit der Solver‑Reihenfolge übereinstimmt. Um die beiden Signale sauber zu kombinieren, wurden feste Mischverhältnisse verwendet und ein bootstrapped‑Skalierungsverfahren eingesetzt, das die Größenordnungen der Belohnungen zu Beginn gleichsetzt.

Die Ergebnisse zeigen, dass gemischte Belohnungen die reine Zellgenauigkeit deutlich übertreffen. Die beste Mischung führt zu einer wesentlich höheren Test‑Genauigkeit als das ausschließlich auf zufälligen Reihenfolgen feinabgestimmte Modell und nähert sich fast der Genauigkeit eines Modells, das auf Solver‑Reihenfolgen trainiert wurde. Dies deutet darauf hin, dass grobe Reihenfolgesignale das RL‑Posttraining gezielt in Richtung Solver‑Trajektorien lenken können, ohne die überwachungsbasierte Trainingsdaten oder die Architektur zu verändern.

Die Studie unterstreicht damit, dass die Integration einer einfachen Reihenfolgebelohnung eine effektive und unkomplizierte Möglichkeit darstellt, strukturelles Wissen in Reinforcement‑Learning‑Posttraining einzubringen und die Leistungsfähigkeit von Modellen in strukturierten Aufgaben wie Sudoku zu steigern.