M3Kang: Neues Mehrsprachiges Datenset für mathematisches Multimodales Denken
Vision‑Language‑Modelle (VLMs) haben in den letzten Jahren beeindruckende Fortschritte bei der Beantwortung komplexer Fragen erzielt, doch ihre Fähigkeiten im Bereich der mehrsprachigen mathematischen Logik bleiben weitgehend unerforscht. Um diese Lücke zu schließen, präsentiert das Forschungsteam M3Kang – das erste umfangreiche, mehrsprachige und multimodale Datenset für mathematisches Denken in VLMs.
M3Kang basiert auf der Kangaroo Math Competition, dem weltweit größten Mathematikwettbewerb, der jährlich über sechs Millionen Teilnehmer unter 18 Jahren aus mehr als 90 Ländern begeistert. Das neue Datenset umfasst 1.747 Multiple‑Choice‑Fragen, die nach Schwierigkeitsgrad der Klassenstufe strukturiert sind, und bietet Übersetzungen in 108 kulturell vielfältigen Sprachen. Viele Aufgaben enthalten zudem Diagramme, die für die Lösung unerlässlich sind.
Mit M3Kang wurden umfangreiche Benchmarks an aktuellen, sowohl geschlossenen als auch offenen, VLMs durchgeführt. Die Ergebnisse zeigen, dass die Modelle trotz jüngster Fortschritte noch immer mit grundlegenden Rechenaufgaben und diagrammbasierten Problemen kämpfen. Die Leistung skaliert mit der Verfügbarkeit der Sprache und der Modellgröße, jedoch nicht mit dem Schwierigkeitsgrad der Klassenstufe. Durch den Einsatz mehrsprachiger Techniken lassen sich die Modelle jedoch deutlich verbessern, was die Vielseitigkeit multimodaler Ansätze unterstreicht.
Ein besonderes Highlight der Studie ist die direkte Vergleichbarkeit mit menschlichen Leistungen: Die Analyse umfasst Daten von über 68.000 Schülern, wodurch die Fortschritte der Modelle im Kontext realer Lernumgebungen bewertet werden können.
Das gesamte M3Kang‑Datenset, inklusive der englischsprachigen Untergruppe M2Kang, sowie das dazugehörige Framework und der Code werden als Open‑Source veröffentlicht. Damit bietet die Forschung nicht nur neue Erkenntnisse, sondern auch ein wertvolles Werkzeug für die Weiterentwicklung von VLMs im mathematischen Bereich.