Zwei‑Stufen‑Entropieoptimierung erhöht Rausch‑Toleranz bei multimodalen LLMs

Ein neuer Ansatz für Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) verspricht, die Trainingsqualität multimodaler Large Language Models (MLLMs) deutlich zu verbessern – selbst wenn die verfügbaren Labels stark verrauscht sind. Traditionelle RLVR‑Methoden neigen dazu, sich an fehlerhafte Annotationen anzupassen und verlieren dabei wichtige Rangordnungsinformationen für die Group‑Relative Policy Optimization (GRPO).

Der innovative Zwei‑Stufen‑Ansatz nutzt token‑basierte Entropieoptimierung, um das Modell zunächst in einer explorativen Phase zu diversifizieren. Durch Entropie‑Maximierung werden stochastische Ausgaben erzeugt, die als starke Regularisierung wirken und ein vorzeitiges Konvergieren auf fehlerhafte Labels verhindern. Gleichzeitig sorgt die erhöhte Intra‑Gruppen‑Variation für zuverlässigere Gradienten bei der Belohnungsoptimierung.

Im darauffolgenden Exploitations‑Schritt wird die Entropie minimiert, sodass das Modell zu sicheren, deterministischen Vorhersagen übergeht. Dieser Übergang konsolidiert das erworbene Wissen und steigert die Genauigkeit. In umfangreichen Experimenten mit den MLLM‑Backbones Qwen2‑VL‑2B, Qwen2‑VL‑7B und Qwen2.5‑VL‑3B über verschiedene Rausch‑Levels und Aufgaben hinweg übertrifft die Methode frühere Ansätze, indem sie externe, interne und entropiebasierte Techniken nahtlos kombiniert.

Die Ergebnisse zeigen, dass die Kombination aus explorativem und exploitativem Entropie‑Management nicht nur die Robustheit gegenüber Annotation‑Rauschen erhöht, sondern auch die Gesamtleistung multimodaler Sprachmodelle nachhaltig verbessert. Dieser Fortschritt eröffnet neue Möglichkeiten für den Einsatz von MLLMs in realen, datenhungrigen Anwendungen, bei denen qualitativ hochwertige Labels selten sind.