Euphonium: Videofluss‑Matching mit Prozessbelohnungsgradienten gesteuert

Ein brandneues Verfahren namens Euphonium verspricht, die Art und Weise zu revolutionieren, wie Video‑Generierungsmodelle mit menschlichen Präferenzen in Einklang gebracht werden. Durch die Kombination von Online‑Reinforcement‑Learning und einer gezielten Steuerung des Sampling‑Prozesses liefert Euphonium eine vielversprechende Alternative zu bisherigen, ineffizienten Ansätzen.

Derzeit stoßen herkömmliche Methoden an ihre Grenzen, weil sie auf ungerichtete Zufälligkeit und spärliche Belohnungen angewiesen sind. Diese Einschränkungen führen zu einer langsamen Erkundung und damit zu datenintensivem Training. Euphonium begegnet diesem Problem, indem es den Sampling‑Prozess als theoretisch fundierte stochastische Differentialgleichung (SDE) modelliert, die den Gradient eines Prozess‑Belohnungsmodells explizit in die Fluss‑Drift‑Komponente einbindet.

Durch diese gezielte Einbindung entsteht ein dichter, schrittweiser Weg zu hochbelohnenden Regionen des Zustandsraums. Im Gegensatz zu früheren, ungerichteten Verfahren ermöglicht Euphonium eine kontinuierliche, schrittweise Steuerung, die bereits bestehende Sampling‑Methoden wie Flow‑GRPO oder DanceGRPO als Spezialfälle umfasst.

Ein weiteres Highlight ist die entwickelte Distillations‑Objective, die das Leitsignal des Belohnungsmodells in das Fluss‑Netzwerk integriert. Dadurch entfällt die Abhängigkeit vom Belohnungsmodell während der Inferenz, was die Effizienz und Geschwindigkeit der Modellgenerierung erheblich steigert.

Die praktische Umsetzung erfolgt über einen Dual‑Reward Group Relative Policy Optimization‑Algorithmus, der latente Prozess‑Belohnungen für eine effiziente Kreditzuweisung mit pixel‑basierten Ergebnis‑Belohnungen für die finale visuelle Qualität kombiniert. In umfangreichen Experimenten zur Text‑zu‑Video‑Generierung konnte Euphonium nicht nur eine bessere Ausrichtung auf menschliche Präferenzen erzielen, sondern auch die Trainingskonvergenz um 1,66‑fach beschleunigen.