Neues multimodales Judge-Modell liefert zuverlässige, erklärbare Bewertungen

Ein neues multimodales Judge-Modell wurde vorgestellt, das zuverlässige und erklärbare Bewertungen für eine breite Palette von Aufgaben liefert.

Das Benchmark umfasst Text, Audio, Bild und Video und nutzt sorgfältig ausgewählte öffentliche Datensätze mit festen Seeds, um Reproduzierbarkeit zu gewährleisten und Lecks zwischen Trainings- und Testdaten zu vermeiden.

Anstatt nur Punkte zu vergeben, aggregiert das System multimodale Urteile, analysiert die Qualität und Konsistenz der Modellantworten und liefert diagnostisches Feedback. Bei 280 multimodalen Beispielen wurden Modelle wie Gemini 2.5, Phi 4 und Qwen 2.5 getestet, und die Bewertungen des Judge-Modells stimmten stark mit menschlichen Anmerkungen überein.

Die Ergebnisse zeigen, dass das Judge-Modell ein skalierbarer und interpretierbarer Evaluationsprozess für zukünftige multimodale KI-Forschung darstellt.