RL-Feinabstimmung von VLMs: Robustheit und Konsistenz der Gedankenketten im Fokus

Reinforcement‑Learning‑Feinabstimmung (RL‑FT) hat sich bei großen Sprachmodellen als entscheidendes Verfahren zur Verbesserung von Rechenaufgaben etabliert – und nun auch bei vision‑language‑Modellen (VLMs). Ein neues Papier aus dem arXiv‑Repository zeigt, dass RL‑FT zwar die Genauigkeit auf visuellen Reasoning‑Benchmarks deutlich steigert, gleichzeitig aber Schwächen in der visuellen Fundierung, Halluzinationen und einer starken Abhängigkeit von Text‑Hinweisen offenlegt.

Die Autoren demonstrieren, dass schon einfache, kontrollierte Text‑Störungen – etwa irreführende Bildunterschriften oder falsche „Chain‑of‑Thought“ (CoT) Spuren – die Robustheit und das Vertrauen der Modelle stark reduzieren. Besonders auffällig ist, dass diese Effekte stärker werden, wenn die CoT‑Konsistenz über verschiedene Open‑Source‑Multimodale‑Reasoning‑Modelle hinweg berücksichtigt wird. Entropie‑basierte Metriken zeigen, dass die Störungen die Unsicherheit der Modelle neu verteilen und die Wahrscheinlichkeit für die korrekte Antwort verringern, was auf modell‑spezifische Fehlkalibrierung hinweist.

Eine detaillierte Analyse der Feinabstimmungsdynamik offenbart einen klaren Kompromiss zwischen Genauigkeit und Glaubwürdigkeit: Während RL‑FT die Benchmark‑Genauigkeit erhöht, kann es gleichzeitig die Zuverlässigkeit der zugehörigen CoT‑Erklärungen und deren Widerstandsfähigkeit gegenüber Kontextänderungen schwächen. Adversariale Datenaugmentation verbessert die Robustheit, verhindert jedoch nicht vollständig den Drift in der Glaubwürdigkeit. Ein belohnungsbasiertes Modell, das die Glaubwürdigkeit berücksichtigt, kann die Übereinstimmung zwischen Antwort und Begründung wiederherstellen, birgt jedoch das Risiko, dass das Training auf Kurzschlussstrategien zurückgreift und die Robustheit weiterhin ausbleibt.

Diese Ergebnisse verdeutlichen, dass reine Genauigkeitsbewertungen unzureichend sind und ein ausgewogeneres Trainings- und Evaluationsschema erforderlich ist, das sowohl Leistung als auch Glaubwürdigkeit und Robustheit berücksichtigt.