EgoIllusion: Benchmark deckt Halluzinationen von Modellen in Ego‑Videos auf

Multimodale große Sprachmodelle (MLLMs) haben in den letzten Jahren beeindruckende Fortschritte bei komplexen multimodalen Aufgaben erzielt. Sie sind besonders stark in der visuellen Wahrnehmung und im logischen Denken, sowohl aus der Perspektive eines Dritten als auch aus der eigenen Sicht. Trotz dieser Erfolge neigen MLLMs häufig zu Halluzinationen – sie erzeugen zusammenhängende, aber faktisch falsche Antworten.

Um dieses Problem gezielt zu untersuchen, wurde EgoIllusion entwickelt, ein erster Benchmark, der die Halluzinationen von MLLMs in Ego‑Videos systematisch bewertet. Der Datensatz umfasst 1.400 Videos, die mit 8.000 von Menschen annotierten offenen und geschlossenen Fragen kombiniert sind. Die Fragen sind bewusst so gestaltet, dass sie visuelle und akustische Hinweise aus Ego‑Videos nutzen, um Halluzinationen auszulösen.

Die Auswertung von zehn führenden MLLMs, darunter GPT‑4o und Gemini, zeigte, dass selbst die leistungsstärksten Modelle nur etwa 59 % der Fragen korrekt beantworten. Diese Ergebnisse verdeutlichen die bestehenden Schwächen und unterstreichen die Notwendigkeit robusterer Benchmarks.

EgoIllusion legt damit die Grundlage für die Entwicklung von MLLMs, die weniger anfällig für Halluzinationen sind, und wird als Open‑Source‑Projekt zur Reproduzierbarkeit bereitgestellt. Der Benchmark soll die Forschung an zuverlässigen, egozentrischen multimodalen Modellen vorantreiben und die Qualität der Antworten in realen Anwendungsszenarien verbessern.