Reinforcement Learning steigert Genauigkeit bei token‑unabhängiger Regression
Ein neues Verfahren nutzt Reinforcement Learning (RL), um die Genauigkeit von „decoding‑based regression“ zu erhöhen – ein Ansatz, bei dem große Sprachmodelle numerische Vorhersagen als Sequenz erzeugen. Traditionell werden dabei token‑basierte Ziele wie Kreuzentropie verwendet, die jedoch nicht mit den kontinuierlichen Zielwerten übereinstimmen und die Präzision einschränken.
Die Autoren formulieren den Generierungsprozess als Markov Decision Process und setzen sequentielle Belohnungen ein, die die globale numerische Kohärenz sicherstellen. Durch diese sequentielle Signalgebung überwindet das Modell die Beschränkungen token‑basierter Ansätze und kann die Zielwerte besser erfassen.
In umfangreichen Experimenten auf tabellarischen Regressionsaufgaben sowie bei Code‑Metrik‑Regressionen übertrifft die RL‑gestützte Methode – insbesondere Varianten wie ReMax und GRPO – sowohl die aktuellen token‑basierten Baselines als auch klassische Regressionsköpfe. Die Ergebnisse zeigen, dass RL die Stichprobeneffizienz steigert und die Vorhersagegenauigkeit deutlich verbessert.
Damit wird „decoding‑based regression“ als robustes und präzises Paradigma für allgemeine numerische Vorhersagen etabliert, das die Grenzen herkömmlicher token‑basierten Techniken überwindet.