AutoDriDM: Benchmark für Entscheidung von Vision‑Language‑Modellen autonom

Autonomes Fahren stellt die Technik vor enorme Herausforderungen: Zuverlässige Wahrnehmung und sichere Entscheidungen in komplexen Verkehrssituationen sind unerlässlich. Vision‑Language‑Modelle (VLMs) haben in den letzten Jahren beeindruckende Fortschritte bei der Kombination von Bild- und Textdaten gezeigt, doch bisherige Tests konzentrieren sich überwiegend auf die reine Wahrnehmung.

Mit AutoDriDM wird das Spiel umgestaltet. Der neue Benchmark umfasst 6 650 Fragen, die in drei Dimensionen – Objekt, Szene und Entscheidung – strukturiert sind. Durch die progressive Gestaltung können Forscher die Entwicklung der Entscheidungsfähigkeit von VLMs systematisch verfolgen und vergleichen.

Die Analyse der führenden VLMs offenbart ein überraschendes Ergebnis: Die Leistung bei der Wahrnehmung steht nur schwach mit der Entscheidungsfindung in Beziehung. Zusätzlich werden mit einer erklärungsorientierten Untersuchung typische Fehlerquellen wie logische Irrtümer aufgedeckt. Ein spezieller Analyzer unterstützt dabei, große Mengen an Anmerkungen automatisch zu generieren, was die Skalierbarkeit der Evaluation deutlich erhöht.

AutoDriDM schließt die bisherige Lücke zwischen perception‑zentrierten und decision‑zentrierten Tests und liefert wertvolle Erkenntnisse für die Entwicklung sichererer und zuverlässigerer VLMs im realen autonomen Fahrszenario.