OpenMMReasoner: Transparentes multimodales Rezept, 11,6 % besser als Qwen2.5

In einer kürzlich veröffentlichten Arbeit auf arXiv präsentiert das EvolvingLMMs‑Lab das OpenMMReasoner‑Rezept, das die Grenzen multimodaler Logik neu definiert. Durch einen klar strukturierten, zweistufigen Ansatz werden Modelle systematisch an komplexen Aufgaben aus Bild- und Textdomänen angepasst.

Im ersten Schritt, dem Supervised Fine‑Tuning (SFT), wird ein umfangreiches Cold‑Start‑Dataset mit 874 000 sorgfältig validierten Beispielen aufgebaut. Diese Basis liefert robuste Grundfähigkeiten, die für das nachfolgende Training entscheidend sind.

Der zweite Schritt nutzt Reinforcement Learning (RL) mit einem 74 000‑Stichproben‑Set aus unterschiedlichen Bereichen. Durch gezielte Belohnungsmechanismen werden die bereits erlernten Fähigkeiten verfeinert und stabilisiert, was zu einer effizienteren Lernkurve führt.

Die Resultate sind beeindruckend: OpenMMReasoner übertrifft das Qwen2.5‑VL‑7B‑Instruct‑Modell um 11,6 % über neun multimodale Benchmark‑Tests. Diese Steigerung unterstreicht die Bedeutung von Datenqualität und durchdachtem Trainingsdesign für die Leistungsfähigkeit multimodaler Systeme.

Alle Code‑ und Datensätze sind frei verfügbar unter GitHub, sodass Forscher weltweit von diesem transparenten Ansatz profitieren können.