VLMs im autonomen Fahren: Textbias in synthetischen MCQAs drastisch reduziert

In einer neuen Studie wurde gezeigt, dass synthetisch generierte Multiple‑Choice‑Fragen (MCQAs) für Vision‑Language‑Modelle (VLMs) im Bereich autonomes Fahren häufig versteckte sprachliche Hinweise enthalten. Diese Hinweise ermöglichen es den Modellen, Muster in der Textform zu erkennen und damit die Aufgabe zu lösen, ohne tatsächlich auf visuelle Informationen zurückzugreifen.

Die Forscher fanden heraus, dass ein VLM, das mit solchen Daten feinabgestimmt wurde, eine Genauigkeit erreichen kann, die mit menschlich validierten Benchmarks vergleichbar ist – und das sogar ohne Bilddaten. Durch die Einführung einer neuen Methode, die die korrekte Antwort von sprachlichen Artefakten trennt und einen Curriculum‑Learning‑Ansatz nutzt, konnte die „blind“ Genauigkeit von über 66 % über dem Zufallswert auf lediglich 2,9 % gesenkt werden.

Diese Fortschritte stellen sicher, dass die Leistung der Modelle tatsächlich die visuelle Wahrnehmung widerspiegelt und nicht von textuellen Abkürzungen profitiert. Damit wird die Zuverlässigkeit von VLMs in sicherheitskritischen Anwendungen wie dem autonomen Fahren deutlich erhöht.