MapTab: Neue Benchmark für multimodale Routenplanung

Die Forschung zu multimodalen großen Sprachmodellen (MLLMs) erreicht einen wichtigen Meilenstein: Mit dem neuen Benchmark MapTab können Entwickler die Fähigkeit dieser Modelle, komplexe Routenplanungsaufgaben unter mehreren Einschränkungen zu lösen, systematisch prüfen. MapTab verbindet Bilddaten von Karten mit strukturierten Tabelleninformationen und fordert die Modelle heraus, sowohl visuelle als auch tabellarische Hinweise zu verarbeiten.

Der Test umfasst zwei realistische Szenarien. Im Metromap-Teil werden 160 Metronetze aus 52 Ländern abgebildet, während Travelmap 168 touristische Attraktionen aus 19 Ländern präsentiert. Insgesamt stehen 328 Kartenbilder, 196 800 Routenplanungsanfragen und 3 936 Frage‑Antwort-Paare zur Verfügung. Jede Aufgabe beinhaltet vier zentrale Einschränkungen – Zeit, Preis, Komfort und Zuverlässigkeit – sodass die Modelle ihre Fähigkeit zur mehrdimensionalen Entscheidungsfindung unter Beweis stellen müssen.

Bei einer umfassenden Bewertung von 15 führenden MLLMs zeigte sich, dass die Modelle noch erhebliche Schwächen in der multimodalen, eingeschränkten Entscheidungsfindung aufweisen. Besonders auffällig war, dass multimodale Zusammenarbeiten in vielen Fällen schlechter abschnitten als reine unimodale Ansätze, wenn die visuelle Wahrnehmung begrenzt war. Diese Ergebnisse unterstreichen die Notwendigkeit, die Integration von Bild- und Tabellendaten in Sprachmodellen weiter zu verbessern.

MapTab bietet damit ein anspruchsvolles, praxisnahes Testfeld, das die Entwicklung von MLLMs vorantreiben soll. Durch die klare Definition von Szenarien, Datenmengen und Einschränkungen liefert der Benchmark einen wertvollen Rahmen, um Fortschritte in der multimodalen Routenplanung zu messen und letztlich die Grundlage für eine echte Allzweck-KI zu legen.