Neues RL-Framework verbessert Video-Understanding ohne Supervised Fine‑Tuning

Multi‑modale Large Language Models (MLLMs) haben das Potenzial, Videos zu verstehen, doch ihre Argumentationswege leiden häufig unter Denk‑Abweichungen und schwacher zeitlicher Kohärenz. Selbst wenn sie mit Reinforcement‑Learning‑Techniken wie Group Relative Policy Optimization (GRPO) unterstützt werden, bleiben die Modelle stark von kostenintensivem Supervised Fine‑Tuning (SFT) abhängig, das umfangreiche Chain‑of‑Thought‑Annotationen erfordert und feste Denkpfade erzwingt.

Die neue Methode Summary‑Driven Reinforcement Learning (SDRL) löst diese Probleme, indem sie ein einziges RL‑Stadium nutzt und SFT vollständig überflüssig macht. SDRL arbeitet mit einem strukturierten Chain‑of‑Thought‑Format: Summarize → Think → Answer. Durch diese klare Gliederung kann das Modell seine eigenen Zusammenfassungen generieren, darüber nachdenken und schließlich die Antwort liefern, ohne auf externe Annotationen angewiesen zu sein.

Im Kern integriert SDRL zwei selbstüberwachende Mechanismen in das GRPO‑Ziel: Consistency of Vision Knowledge (CVK) reduziert die KL‑Divergenz zwischen erzeugten Zusammenfassungen, um die Faktenbasis zu stärken, und Dynamic Variety of Reasoning (DVR) fördert die Exploration, indem es die Vielfalt der Denkprozesse dynamisch an die Gruppengenauigkeit anpasst. Diese Kombination aus Ausrichtung und Exploration ermöglicht eine effektive Überwachung sowohl der Endantwort als auch des gesamten Denkprozesses.

Die Ergebnisse sprechen für sich: SDRL erzielt auf sieben öffentlichen Video‑QA‑Datensätzen den aktuellen Stand der Technik. Damit demonstriert die Methode, dass ein strukturiertes, selbstüberwachtes Reinforcement‑Learning die Grenzen herkömmlicher Ansätze sprengen und die Leistungsfähigkeit von MLLMs im Video‑Verstehen nachhaltig steigern kann.