Neuer Algorithmus kombiniert Belohnungen und Präferenzen für stabileres Reinforcement Learning

Ein brandneuer Reinforcement‑Learning‑Algorithmus namens Dual‑Feedback Actor (DFA) vereint klassische Belohnungen und Präferenzen in einer einzigen, eleganten Update‑Regel. Durch die direkte Nutzung der Log‑Wahrscheinlichkeiten der Policy kann DFA die Präferenzwahrscheinlichkeit modellieren, ohne einen separaten Schritt zur Belohnungsmodellierung einzuführen.

Die Präferenzen, die DFA verwendet, können von menschlichen Annotatoren auf Zustands‑ oder Trajektorien‑Ebene bereitgestellt werden – oder sie werden online aus den Q‑Werten eines Off‑Policy‑Replay‑Buffers synthetisiert. Auf diese Weise lässt sich das System flexibel an unterschiedliche Datenquellen anpassen.

Unter dem Bradley‑Terry‑Modell zeigt die Theorie, dass das Minimieren des Präferenzverlusts exakt die entropie‑regulierte Soft Actor‑Critic (SAC) Policy zurückgewinnt. Damit ist DFA nicht nur praktisch, sondern auch theoretisch fundiert.

Simulationen belegen die Leistungsfähigkeit: In sechs klassischen Kontrollumgebungen erreicht DFA, wenn es mit generierten Präferenzen trainiert wird, die Leistung von SAC oder übertrifft sie sogar, während der Trainingsprozess deutlich stabiler verläuft. In einem semi‑synthetischen Präferenz‑Datensatz, der dem Bradley‑Terry‑Modell entspricht, übertrifft DFA die üblichen RLHF‑Baselines in einem stochastischen GridWorld und kommt einem Oracle mit wahren Belohnungen sehr nahe.

Diese Ergebnisse zeigen, dass die Kombination aus Belohnungen und Präferenzen ein vielversprechender Ansatz ist, um Reinforcement‑Learning‑Modelle robuster und effizienter zu machen. Der Dual‑Feedback Actor eröffnet neue Möglichkeiten für die Integration menschlicher Rückmeldungen in lernende Agenten.