Visuelle Daten verbessern Textmodelle: VLMs übertreffen LLMs bei Textaufgaben

In einer neuen Studie zeigen Vision‑Language‑Modelle (VLMs), dass sie bei rein textbasierten Aufgaben – besonders bei der Suche nach Informationen in langen Kontexten – sogar besser abschneiden als ihre zugrunde liegenden Large Language Models (LLMs). Das Ergebnis ist überraschend, denn VLMs wurden ursprünglich entwickelt, um LLMs visuelle Fähigkeiten zu verleihen.

Um dieses Phänomen zu untersuchen, erstellte das Forschungsteam eine kontrollierte, synthetische Retrieval‑Aufgabe. Ein Transformer, der ausschließlich mit Text trainiert wurde, erreichte zwar perfekte Genauigkeit innerhalb des Trainingsdatensatzes, zeigte jedoch bei Aus‑der‑Distribution‑Tests (OOD) erhebliche Schwächen. Sobald dieselbe Aufgabe jedoch in einer bildbasierten, tokenisierten Form trainiert wurde, stieg die OOD‑Leistung nahezu doppelt an.

Durch mechanistische Interpretationsmethoden wurde deutlich, dass das visuelle Training die interne Bindungsstrategie des Modells verändert. Text‑nur‑Training fördert positionsbasierte Abkürzungen, während bildbasiertes Training diese durch räumliche Translation‑Invarianz unterbricht. Dadurch wird ein robuster, symbolischer Bindungsmechanismus gefördert, der auch dann erhalten bleibt, wenn nach dem Bild‑Training wieder rein textbasierte Beispiele eingeführt werden.

Die Autoren untersuchten weiter, wie sich Bindungsstrategien je nach Trainingsregime, visuellen Encodern und Initialisierungen unterscheiden, und zeigten, dass ähnliche Verschiebungen auch bei der Umwandlung von vortrainierten LLMs zu VLMs auftreten. Die Ergebnisse deuten darauf hin, dass das Training über mehrere Modalitäten hinweg die Fähigkeit zur logischen Schlussfolgerung und zur Generalisierung selbst bei Aufgaben, die nur eine einzige Modalität erfordern, erheblich verbessert.