VLC‑Methode robuste Bild‑Sprach‑Modelle gegen Verteilungsschwankungen

Vision‑Language‑Modelle (VLMs) haben in den letzten Jahren enorme Fortschritte bei komplexen Aufgaben der Bild‑ und Sprachverarbeitung erzielt. Doch ob sie auch unter veränderten Bedingungen zuverlässig logische Schlüsse ziehen können, bleibt bislang unklar. In einer neuen Untersuchung wird genau diese Frage adressiert.

Die Forscher haben sich auf sogenannte Kovariaten‑Shifts konzentriert: Hier ändert sich die Verteilung der visuellen Eingaben, während die zugrunde liegenden Regeln unverändert bleiben. Als Testumgebung dienten visuelle Deduktionsaufgaben, bei denen ein Modell aus einem Bild und einer Reihe logischer Regeln eine Frage beantworten muss. Diese Aufgaben erfordern sowohl präzise Objekterkennung als auch korrekte Anwendung von Regeln.

Die Ergebnisse zeigen, dass VLMs, die durch gradientenbasierte End‑to‑End‑Feinabstimmung trainiert wurden, in der Trainingsverteilung hervorragende Leistungen erbringen. Unter den getesteten Kovariaten‑Shifts jedoch versagen sie deutlich, was darauf hindeutet, dass die Feinabstimmung nicht zuverlässig die eigentliche Rechenfunktion für das logische Denken erzeugt.

Diese Erkenntnisse motivieren einen neuro‑symbolischen Ansatz, bei dem Wahrnehmung und Logik getrennt behandelt werden. Bisherige neuro‑symbolische Modelle, die auf Black‑Box‑Reasoning‑Komponenten setzen, zeigen jedoch ebenfalls inkonsistente Robustheit. Um dem entgegenzuwirken, wurde VLC entwickelt – ein Verfahren, das VLM‑basierte Konzept­erkennung mit einer kreis‑basierten symbolischen Logik kombiniert.

Bei VLC werden die Aufgabenregeln in ein symbolisches Programm, genauer gesagt in einen logischen Schaltkreis, übersetzt. Dieser Schaltkreis führt die Regeln exakt über die vom VLM erkannten Objekte aus. In Experimenten mit drei unterschiedlichen Deduktionsaufgaben zeigte VLC konstant starke Leistungen, selbst bei signifikanten Verteilungsschwankungen. Die Studie demonstriert damit, dass ein klar getrenntes Wahrnehmungs‑ und Rechenmodell die Grundlage für robuste Bild‑Sprach‑Reasoning‑Systeme bildet.