Multimodale Urteilsmodelle verbessern: neues Benchmark und MCTS‑Datengenerierung

In den letzten Jahren haben multimodale große Sprachmodelle (MLLMs) zunehmend die Rolle von „Richtern“ übernommen, um präzise und konsistente Bewertungen in verschiedensten Bereichen zu liefern. Damit diese Bewertungen vertrauenswürdig bleiben, ist eine gründliche Prüfung der Fähigkeiten und Zuverlässigkeit dieser MLLM‑basierenden Urteilsmodelle unerlässlich.

Um diese Anforderungen zu erfüllen, stellt das neue M‑JudgeBench vor, ein zehndimensionale, Fähigkeit orientiertes Benchmark. Es zerlegt die Bewertung in drei Kernaufgaben – den Vergleich von Paaren mittels Chain‑of‑Thought (CoT), die Vermeidung von Längen‑Bias und die Erkennung von Prozessfehlern – und deckt damit insgesamt zehn feingranulare Unteraufgaben ab. Durch diese Struktur lassen sich die Zuverlässigkeit von Modellen über unterschiedliche Denkstile, Antwortlängen und Modellvarianten hinweg diagnostizieren.

Die systematische Analyse mit M‑JudgeBench hat deutliche Schwächen in bestehenden MLLM‑Richter‑Systemen aufgedeckt. Um diese Lücken zu schließen, wurde das Judge‑MCTS‑Framework entwickelt, das mithilfe von Monte‑Carlo‑Tree‑Search (MCTS) Paar‑Weise‑Routings mit variierender Richtigkeit und Länge erzeugt. Das daraus generierte, MCTS‑angereicherte Datenset dient als Grundlage für die Ausbildung der M‑Judger‑Modelle.

Erweiterte Experimente zeigen, dass die neu trainierten M‑Judger‑Modelle sowohl auf bestehenden Benchmarks als auch auf dem eigenen M‑JudgeBench deutlich bessere Leistungen erbringen. Damit liefert die Kombination aus M‑JudgeBench und Judge‑MCTS einen fundierten Rahmen für die Bewertung von MLLM‑Richtern und ebnet den Weg für weiterführende Entwicklungen in diesem aufkommenden Forschungsfeld.