MMR-Bench: Neuer Standard für multimodale LLM‑Routing

In der Forschung zu multimodalen großen Sprachmodellen (MLLMs) hat sich die Vielfalt an Architekturen, Ausrichtungsstrategien und Effizienz stark erhöht. Diese Heterogenität führt dazu, dass kein einzelnes Modell in allen Aufgabenbereichen überlegen ist. MMR‑Bench, ein neues Benchmarking-Tool, adressiert dieses Problem, indem es die Auswahl des passenden Modells für jede einzelne Anfrage – das sogenannte Routing – in einem einheitlichen Rahmen untersucht.

Der Benchmark schafft ein kontrolliertes Umfeld, in dem Eingaben aus Text, Bild und anderen Modalitäten kombiniert werden und die verfügbaren Rechenressourcen variabel festgelegt sind. Er umfasst eine breite Palette von Vision‑Language‑Aufgaben, darunter optische Zeichenerkennung (OCR), allgemeine visuelle Frage‑Antwort‑Aufgaben (VQA) und multimodale mathematische Problemlösung. Zusätzlich liefert MMR‑Bench Referenzwerte für einzelne Modelle, theoretische Obergrenzen (Orakel‑Upper‑Bounds) und exemplarische Routing‑Strategien.

Ergebnisse aus der ersten Evaluierung zeigen, dass die Einbeziehung multimodaler Signale die Routing‑Qualität deutlich steigert. Die Kosten‑Genauigkeit‑Grenze verschiebt sich nach oben, sodass ein geroutetes System die Genauigkeit des stärksten Einzelmodells bei etwa 33 % seiner Kosten übertrifft. Diese Verbesserung ist besonders bemerkenswert, da sie die Effizienz von Systemen mit heterogenen Modellen erheblich erhöht.

Ein weiteres Highlight von MMR‑Bench ist die Generalisierbarkeit der Routing‑Politiken. Modelle, die auf einer Teilmenge von Modellen und Aufgaben trainiert wurden, demonstrieren eine Zero‑Shot‑Leistung auf neuen Datensätzen und sogar auf rein textbasierten Benchmarks, ohne dass eine erneute Feinabstimmung nötig ist. Damit bietet MMR‑Bench eine robuste Plattform, um die Leistungsfähigkeit multimodaler LLM‑Routing‑Strategien systematisch zu vergleichen und weiterzuentwickeln.