RLNVR: Sprachmodelle lernen aus unbestätigten Echtzeit‑Feedbacks

Die neue Methode RLNVR (Reinforcement Learning from Non‑Verified Rewards) ermöglicht es, Sprachmodelle mit verrauschten, realen Rückmeldungen zu trainieren, ohne dass jede Bewertung von Menschen verifiziert werden muss. Traditionelle RLHF‑Ansätze setzen auf teure, überprüfte Belohnungen, die in vielen praktischen Anwendungen nicht verfügbar sind.

RLNVR nutzt zwei zentrale Techniken: eine Basisnormalisierung, die die Streuung der Belohnungen reduziert, und einen semantisch‑ähnlichkeitsbasierten Transfer, der aus unvollständigen Signalen sinnvolle Rückmeldungen extrahiert. Durch diese Kombination wird das Training stabiler und die Qualität der generierten Inhalte verbessert.

Im Prototyp „Walter“ wurde die Methode auf die Erstellung von Social‑Media‑Inhalten angewendet. Dabei wurden echte Interaktionsdaten von Bluesky als Belohnungsquelle verwendet. Die ersten Experimente zeigen deutliche Fortschritte in der Inhaltsqualität und einer höheren Trainingsstabilität.

RLNVR wird zusätzlich mit GSPO (Group Sequence Policy Optimization) und optionalem UED‑Curriculum (Unsupervised Environment Design) kombiniert. Diese Kombination aus Normalisierung und Curriculum‑Design hat bislang in der Praxis für LLM‑generierte Inhalte aus impliziten sozialen Interaktionen nicht dokumentiert. Sie bietet einen praxisnahen Ansatz, um die Stabilität und Vielfalt bei verrauschten Belohnungen zu erhöhen.

Weitere umfassende Evaluationen sind geplant, um die Leistungsverbesserungen und die Anwendbarkeit in unterschiedlichen Domänen zu bestätigen.