EntRGi: Neue Methode verbessert Reward Guidance bei Diffusion‑Sprachmodellen

Ein neues Verfahren namens EntRGi (Entropy aware Reward Guidance) hat die Art und Weise, wie Belohnungsmodelle bei diskreten Diffusion‑Sprachmodellen eingesetzt werden, grundlegend verändert. Im Gegensatz zu bisherigen Ansätzen, die entweder diskrete Token durch kontinuierliche Relaxationen ersetzen oder den Straight‑Through‑Estimator nutzen, bietet EntRGi einen dynamischen Ansatz, der die Gradienten aus dem Belohnungsmodell anhand der Modell‑Vertrauensstufe reguliert.

Die bisherigen Methoden hatten jeweils eigene Schwächen: Die kontinuierliche Relaxation führt zu einer schlechten Gradientensignalausgabe, weil das Belohnungsmodell nie mit solchen Eingaben trainiert wurde. Der Straight‑Through‑Estimator hingegen verwendet Gradienten, die an diskrete Token berechnet wurden, um kontinuierliche Logits zu aktualisieren, was zu inkorrekter Optimierung führt. EntRGi löst diese Probleme, indem es die Gradienten an die aktuelle Unsicherheit des Modells anpasst und dadurch zuverlässigere Eingaben für das Belohnungsmodell liefert.

In umfangreichen Experimenten mit einem 7‑Billionen‑Parameter‑Diffusion‑Sprachmodell zeigte EntRGi konsistente Verbesserungen gegenüber dem Stand der Technik. Die Tests umfassten drei verschiedene Belohnungsmodelle und drei Multi‑Skill‑Benchmarks, wobei die neue Methode in allen Fällen die Leistung signifikant steigerte. Diese Ergebnisse deuten darauf hin, dass EntRGi ein vielversprechender Schritt zur effektiveren Nutzung von Belohnungsanweisungen in diskreten Diffusion‑Modellen darstellt.