UmniBench: Alles‑in‑einem Benchmark für multimodale Modelle

Mit UmniBench wird ein neues, umfassendes Testverfahren für einheitliche multimodale Modelle (UMMs) vorgestellt. Bisher wurden Verständnis‑ und Generierungsfähigkeiten dieser Modelle getrennt bewertet, was ein unvollständiges Bild ihrer Leistungsfähigkeit lieferte. UmniBench schließt diese Lücke, indem es die drei Kernkompetenzen – Verstehen, Generieren und Bearbeiten – in einem einzigen Evaluationsprozess zusammenführt.

Der Ansatz nutzt von Menschen geprüfte Eingabeaufforderungen und Frage‑Antwort‑Paare. Dabei bewertet das Modell seine eigenen generativen und bearbeitenden Leistungen anhand seiner Verständnisfähigkeiten. Dieses selbstreflektierende Verfahren vereinfacht die Bewertung und liefert gleichzeitig ein ganzheitliches Bild der Modellkompetenz.

UmniBench deckt 13 zentrale Domänen ab und umfasst mehr als 200 Konzepte, sodass eine gründliche Prüfung der Modelle gewährleistet ist. Gleichzeitig lässt sich die Bewertung auf einzelne Fähigkeiten herunterbrechen, um detaillierte Einblicke zu ermöglichen.

In einer ersten Anwendung wurden 24 bekannte Modelle – sowohl UMMs als auch spezialisierte große Modelle – anhand von UmniBench getestet. Das Ziel ist, einen objektiven, umfassenden Überblick über die Stärken und Schwächen einheitlicher multimodaler Systeme zu bieten und die Weiterentwicklung der Community zu unterstützen.