RL verfeinert visuelles Denken: Fokus auf Transformer-Schichten

Reinforcement Learning (RL) hat sich als Standardverfahren etabliert, um die visuelle Argumentationsfähigkeit von Vision‑Language‑Modellen zu steigern. Doch bislang war unklar, welche konkreten Fähigkeiten durch RL verbessert werden, wenn man es im Vergleich zu klassischem Supervised Fine‑Tuning betrachtet.

Um diese Lücke zu schließen, hat ein neues Analyse‑Framework – inspiriert von der „Frankenstein‑Analyse“ – drei zentrale Schritte eingeführt: funktionale Lokalisierung mittels kausaler Probes, Charakterisierung der Parameteränderungen und Test der Übertragbarkeit durch Modell‑Merging. Diese Methode erlaubt es, die Wirkung von RL auf einzelne Schichten des Transformers präzise zu isolieren.

Die Ergebnisse zeigen, dass RL vor allem einen konsistenten Shift in der Inferenzzeit in den mittleren bis späteren Schichten erzeugt. Diese Anpassungen sind sowohl übertragbar (durch Merging) als auch notwendig (durch Freezing), um die Leistungssteigerungen zu erzielen. Damit wird klar, dass RL nicht einfach die visuelle Wahrnehmung verbessert, sondern gezielt die Berechnungen in den mittleren Transformer‑Schichten verfeinert, um die Ausrichtung von Bild- und Argumentationsmodulen zu optimieren.

Die Studie unterstreicht, dass reine Benchmark‑Gewinne nicht ausreichen, um die eigentlichen Verbesserungen multimodaler Modelle zu verstehen. Stattdessen liefert die gezielte Analyse einen tieferen Einblick in die Mechanismen, die RL für die visuelle Argumentation nutzt.