Blockweise Vorteilsschätzung optimiert Multi-Objective RL in Textgenerierung

Eine neue Technik namens Blockwise Advantage Estimation (BAE) verspricht, die Leistung von Reinforcement‑Learning‑Modellen bei strukturierten Textgenerierungen deutlich zu steigern. Durch die Zuweisung eines eigenen Vorteilswertes zu jedem Zielsegment wird die bisherige Problemstellung, bei der ein einzelner Skalarwert alle Tokens beeinflusst, überwunden.

Der Ansatz basiert auf Group Relative Policy Optimization (GRPO), das bislang einen einzigen Vorteil für sämtliche Tokens in einer Ausgabe berechnet. Bei mehrdimensionalen Aufgaben, bei denen verschiedene Abschnitte unterschiedliche Ziele verfolgen, führt diese Vorgehensweise zu Zielkonflikten und einer fehlerhaften Zuordnung von Belohnungen.

BAE löst dieses Problem, indem es jedem Zielsegment einen eigenen Vorteil zuweist und diesen ausschließlich auf die entsprechenden Tokens anwendet. Dadurch reduziert sich die Abhängigkeit von handgefertigten Skalarbelohnungen und die Methode skaliert automatisch auf zusätzliche Ziele.

Ein zentrales Hindernis besteht darin, die Vorteile für spätere Segmente zu schätzen, deren Belohnungen von bereits generierten Präfixen abhängen. Traditionelle, unverzerrte Verfahren erfordern dafür aufwändige verschachtelte Rollouts. BAE führt stattdessen ein Outcome‑Conditioned Baseline ein, das Zwischenwertschätzungen ausschließlich auf Basis von Gruppendaten durchführt, indem es Stichproben nach einem aus dem Präfix abgeleiteten Zwischenergebnis stratifiziert.

In Experimenten mit mathematischen Aufgaben, die Unsicherheitsabschätzungen erfordern, zeigte BAE eine deutliche Reduktion von Zielkonflikten, erreichte Leistungen, die mit einem hochentwickelten, belohnungsbasierten Ansatz vergleichbar sind, und bewahrte gleichzeitig die Vorteile von confidence‑weighted Ensembling beim Testzeitpunkt.

Die vorgestellte Technik bietet damit einen modularen Leitfaden zur Optimierung sequenzieller Ziele in strukturierten Textgenerierungen, ohne dass zusätzliche Rollouts erforderlich sind. Sie eröffnet neue Möglichkeiten für die Entwicklung von KI‑Systemen, die mehrere, oft widersprüchliche Ziele gleichzeitig erfüllen müssen.