LifeEval: Neuer multimodaler Benchmark für Assistenz‑KI im Alltag

Die rasante Entwicklung multimodaler Large Language Models (MLLMs) bringt einen bedeutenden Schritt in Richtung künstlicher Allgemeinintelligenz. Sie eröffnen enormes Potenzial, menschliche Fähigkeiten zu erweitern, doch ihre Wirksamkeit bei der Unterstützung in dynamischen, realen Umgebungen ist bislang kaum untersucht.

Aktuelle Video‑Benchmarks konzentrieren sich überwiegend auf das passive Verständnis vergangener Ereignisse oder isolierte Wahrnehmungsaufgaben. Sie erfassen weder die interaktive noch die adaptive Natur einer Echtzeit‑Unterstützung durch KI. Dieser Mangel an praxisnahen Tests hat die Forschung daran gehindert, die tatsächliche Leistungsfähigkeit von Assistenz‑Systemen im Alltag zu bewerten.

Um diese Lücke zu schließen, wurde LifeEval entwickelt – ein multimodaler Benchmark, der die Echtzeit‑Aufgabenorientierung von Mensch‑KI‑Zusammenarbeit aus der Ego‑perspektive bewertet. LifeEval legt besonderen Wert auf drei Kernaspekte: eine ganzheitliche, auf Aufgaben ausgerichtete Bewertung, die kontinuierliche, erste‑Person‑Erfassung von Echtzeit‑Wahrnehmungen und die Interaktion zwischen Mensch und Assistent über natürliche Dialoge.

Der Benchmark besteht aus 4.075 sorgfältig annotierten Frage‑Antwort‑Paaren, die sechs zentrale Fähigkeitsdimensionen abdecken. In umfangreichen Tests wurden 26 führende MLLMs auf LifeEval evaluiert. Die Ergebnisse zeigen deutlich, dass die Modelle noch erhebliche Schwierigkeiten haben, zeitnah, effektiv und adaptiv zu interagieren – ein klarer Hinweis auf die Notwendigkeit, die menschenzentrierte Interaktionsintelligenz weiter zu verbessern.

LifeEval liefert damit ein wertvolles Werkzeug für die Forschung und Entwicklung von Assistenz‑KI, das die realen Anforderungen des Alltags widerspiegelt. Durch die Kombination aus Echtzeit‑Erfassung, Aufgabenorientierung und natürlicher Dialoginteraktion eröffnet der Benchmark neue Perspektiven für die Gestaltung von KI‑Systemen, die wirklich im Dienste des Menschen stehen.