Stabilisierung von Reinforcement Learning für Diffusions-Sprachmodelle

Forscher haben ein neues Verfahren vorgestellt, das die Stabilität von Reinforcement Learning in Diffusions-Sprachmodellen deutlich verbessert.

Das bestehende Group Relative Policy Optimization (GRPO) funktioniert hervorragend bei autoregressiven Modellen, stößt jedoch bei Diffusionsmodellen zu einem sogenannten Reward‑Collapse.

Zwei Hauptursachen liegen dahinter: Erstens nutzt GRPO Wichtigkeitsverhältnisse, die auf Sequenzwahrscheinlichkeiten basieren – in Diffusionsmodellen schwer berechenbar und müssen geschätzt werden, was zu stark verrauschten Ratios führt. Zweitens ist die Standardformulierung von GRPO nicht für geschätzte Ratios ausgelegt, wodurch Konditionalclipping umgangen wird und Gradientenschläge entstehen, während die feste Gruppengröße die Schwankungen verstärkt.

Diese Effekte erzeugen einen selbstverstärkenden Instabilitätskreis, der die Politik driftet und die Ratio‑Varianz weiter erhöht.

Um diesen Kreislauf zu durchbrechen, präsentiert das Team StableDRL – eine angepasste Version von GRPO für Diffusionsmodelle. StableDRL setzt auf unbedingtes Clipping, um Ausreißer zu dämpfen, und nutzt Selbstnormalisierung, um Aktualisierungen innerhalb des konvexen Hüllraums pro Sample zu halten.

Darüber hinaus wird StableDRL auf blockweise Diffusionsmodelle ausgeweitet, wobei ein „Staircase‑Attention“-Mechanismus eingesetzt wird.

Die Ergebnisse zeigen, dass StableDRL die Stabilität von Reinforcement Learning in Diffusions-Sprachmodellen signifikant erhöht und damit neue Möglichkeiten für robuste, nachtrainierte Sprachmodelle eröffnet.