WearVQA: Benchmark für Visual Question Answering auf Wearables im Alltag

Mit WearVQA wird der erste speziell entwickelte Test für Visual Question Answering (VQA) auf tragbaren Geräten wie Smart‑Glasses vorgestellt. Der Fokus liegt dabei auf egozentrischen, authentischen Alltagsszenarien, in denen die Bildqualität oft durch Verdeckung, schlechte Beleuchtung, Unschärfe oder fehlende Zoom‑Fähigkeiten beeinträchtigt ist.

Im Gegensatz zu bisherigen Benchmarks, die meist hochwertige, Drittperspektivbilder nutzen, umfasst WearVQA 2 520 sorgfältig kuratierte Bild‑Frage‑Antwort‑Triplets. Diese verteilen sich über sieben unterschiedliche Bilddomänen, zehn kognitive Aufgabentypen – von einfacher Erkennung bis hin zu komplexen Denkaufgaben – und sechs typische Bildqualitätsprobleme, die bei Wearables auftreten.

Alle Fragen sind so gestaltet, dass sie ausschließlich mit dem visuellen Input und allgemeinem Wissen beantwortet werden können. Die Bewertung erfolgt über ein rigoroses LLM‑as‑a‑Judge‑Framework, das eine Etikettiergenauigkeit von 96 % erreicht. Open‑Source‑ und proprietäre Multi‑Model‑LLMs erzielen bei WearVQA eine Genauigkeit zwischen 24 % und 52 %, wobei die Leistung bei schlechter Bildqualität und bei Aufgaben mit hohem Rechenaufwand deutlich sinkt.

WearVQA stellt damit einen umfassenden und anspruchsvollen Benchmark dar, der die Weiterentwicklung robuster, realweltfähiger Multi‑Model‑AI‑Systeme für Wearables vorantreibt.