VLMs simulieren Sehbehinderung – Infos + Beispiele steigern Genauigkeit

Eine neue Untersuchung zeigt, dass Sprachmodelle wie GPT‑4o die visuelle Wahrnehmung von Menschen mit Sehbehinderung simulieren können, wenn sie mit den richtigen Daten gefüttert werden.

Die Forscher*innen sammelten in einer Online‑Umfrage Daten von 40 Personen mit Sehbehinderung. Dabei wurden sowohl deren Seh‑Fähigkeiten als auch offene und Multiple‑Choice‑Antworten zu bis zu 25 Bildern erfasst. Aus diesen Antworten entstand ein Benchmark‑Datensatz, der die Grundlage für die Simulation bildet.

Für die Simulation wurden gezielte Prompts an GPT‑4o erstellt. Dabei wurden die Modelle mit unterschiedlichen Kombinationen von Seh‑Informationen und Beispielantworten gefüttert, um virtuelle Agenten zu erzeugen, die die jeweiligen Teilnehmer*innen nachahmen.

Die Ergebnisse zeigen, dass Modelle mit minimalen Prompts nur eine Übereinstimmung von 0,59 mit den echten Antworten erreichen. Auch bei ausschließlich vorliegenden Seh‑Informationen oder nur Beispielantworten bleibt die Übereinstimmung bei 0,59. Kombiniert man jedoch beide Elemente, steigt die Übereinstimmung signifikant auf 0,70 (p < 0,0001). Ein einzelnes Beispiel, das sowohl offene als auch Multiple‑Choice‑Antworten enthält, liefert einen großen Leistungszuwachs, während zusätzliche Beispiele kaum weitere Verbesserungen bringen.

Die Studie unterstreicht, dass die Kombination aus individuellen Seh‑Daten und exemplarischen Bildantworten entscheidend ist, um die Wahrnehmung von Menschen mit Sehbehinderung realistisch zu simulieren. Dies eröffnet neue Perspektiven für die Entwicklung von barrierefreien Anwendungen und Hilfsmitteln.