Vision‑Language‑Modelle: Feinabgestimmtes Wissen steigert Bildklassifikation

Vision‑Language‑Modelle (VLMs) haben in den letzten Jahren enorme Fortschritte bei Aufgaben wie visueller Frage‑Antwort, Dokumentenverständnis und multimodaler Konversation erzielt. Trotz dieser Erfolge zeigen neuere Untersuchungen, dass VLMs bei klassischen Bildklassifikationsbenchmarks, die ein feines visuelles Wissen erfordern, noch hinterherhinken.

In einer umfangreichen Studie wurden zahlreiche aktuelle VLMs auf feinabgestimmten Klassifikationsaufgaben getestet. Die Ergebnisse deuten auf mehrere entscheidende Faktoren hin: Ein leistungsfähigeres Sprachmodell verbessert die Leistung auf allen Benchmarks gleichmäßig, während ein stärkerer Bildencoder besonders die feinabgestimmte Klassifikation deutlich steigert.

Darüber hinaus spielt die Vortrainingsphase eine zentrale Rolle. Besonders wenn die Gewichte des Sprachmodells während des Vortrainings nicht eingefroren werden, verbessert sich die feine Bildklassifikation signifikant. Diese Erkenntnisse legen den Grundstein für gezielte Verbesserungen der visuellen Detailkenntnisse in VLMs.