Training‑freie Datenauswahl verbessert Vision‑Language‑Modelltraining

In der Welt der Vision‑Language‑Large‑Models (VLLMs) spielt die Visual Instruction Tuning eine zentrale Rolle, um die multimodale Leistungsfähigkeit zu steigern. Doch viele Trainingsbeispiele lassen sich bereits durch sprachliche Muster oder Alltagswissen lösen, ohne dass echtes Bild‑Text‑Verständnis erforderlich ist. Das begrenzt die Effektivität des multimodalen Lernens erheblich.

Traditionelle Datenauswahl‑Methoden setzen häufig auf aufwändige Proxy‑Modelle und konzentrieren sich auf Schwierigkeits‑ oder Diversitätskriterien. Diese Ansätze erfassen jedoch nicht, welchen wahren Beitrag ein Beispiel zur gemeinsamen Bild‑Text‑Interpretation leistet.

Die neue Methode CVS (Training‑Free Data Selection) löst dieses Problem, indem sie die Idee nutzt, dass ein hochwertiges multimodales Beispiel die Einschätzung der Antwortgültigkeit eines Modells stark verändern sollte, wenn die Frage hinzugefügt wird. CVS verwendet ein eingefrorenes VLLM als Evaluator und misst die Diskrepanz in der Antwortgültigkeit mit und ohne Frage. Auf diese Weise werden gezielt Beispiele identifiziert, die echtes Bild‑Text‑Verständnis erfordern, während semantische Konflikte herausgefiltert werden.

Experimentelle Ergebnisse auf den Datensätzen Vision‑Flan und The Cauldron zeigen, dass CVS die Leistung über die komplette Datensatzmenge hinaus verbessert. Auf Vision‑Flan übertrifft CVS das Training mit allen Daten um 3,5 % bei 10 % und um 4,8 % bei 15 % der Daten. Gleichzeitig bleibt die Methode robust auf dem heterogenen Cauldron‑Datensatz. Darüber hinaus senkt CVS die Rechenkosten um 17,3 % bzw. 44,4 % im Vergleich zu COINCIDE und XMAS.

Mit CVS können Entwickler also nicht nur die Qualität ihrer Vision‑Language‑Modelle steigern, sondern gleichzeitig Ressourcen sparen und die Trainingszeit verkürzen – ein echter Gewinn für Forschung und Praxis.