Mehrere Agenten erhöhen Robustheit und Transparenz in RLHF

Ein brandneuer Ansatz namens CRM (Multi‑Agent Collaborative Reward Model) ersetzt das herkömmliche, einheitliche Belohnungsmodell durch ein koordiniertes Team von Spezialisten. Dieser Ansatz zielt darauf ab, die Robustheit und Interpretierbarkeit von Reinforcement‑Learning‑Human‑Feedback (RLHF) deutlich zu verbessern.

Traditionelle Belohnungsmodelle haben Schwierigkeiten, mehrere, oft widersprüchliche Präferenzdimensionen wie Faktentreue, Hilfsbereitschaft und Sicherheit gleichzeitig zu optimieren. Zudem bieten sie nur begrenzte Transparenz darüber, warum ein bestimmter Score vergeben wird. CRM löst diese Probleme, indem es die Bewertung in domänenspezifische Agenten aufteilt, die jeweils Teilsignale erzeugen, und zusätzlich globale Evaluatoren wie Ranglisten‑ und Ähnlichkeits‑Belohnungen einsetzt.

Ein zentraler Aggregator kombiniert die Signale zu jedem Zeitschritt und balanciert dabei Faktoren wie Schritt‑weise Richtigkeit, Übereinstimmung der Agenten und Wiederholungs­penalitäten. Das Ergebnis ist eine einzige Trainingsbelohnung, die nahtlos in Standard‑RL‑Pipelines integriert werden kann. Die Politik wird mit vorteilbasierten Updates (z. B. GAE) optimiert, während ein Wertmodell die aggregierte Belohnung vorhersagt, sodass ein mehrperspektivisches Belohnungs‑Shaping ohne zusätzliche menschliche Anmerkungen möglich ist.

Zur Unterstützung von Training und Evaluation wurde rewardBench entwickelt – ein Benchmark und eine Trainingssuite, die exakt auf die kollaborative Struktur von CRM abgestimmt sind. Zusammen bieten CRM und rewardBench einen praktischen, modularen Weg zu transparenteren Belohnungsmodellen und stabileren Optimierungen im Bereich des Reinforcement Learning.