MAPLE: Modality-Aware Post-Training – 30 % Genauigkeitsgewinn, 3‑fach Konvergenz

Multimodale Sprachmodelle kombinieren Text, Audio und Video zu einer einheitlichen Denkweise. In der Praxis werden jedoch bei bestehenden Reinforcement‑Learning‑Post‑Training‑Pipelines alle Signale gleich behandelt, obwohl manche Aufgaben nur wenige Modalitäten benötigen. Diese „modality‑blind“ Herangehensweise erhöht die Varianz der Policy‑Gradienten, verlangsamt die Konvergenz und macht die Modelle anfällig für reale Verteilungsänderungen, bei denen Signale fehlen, hinzukommen oder neu gewichtet werden.

MAPLE (Modality‑Aware Post‑Training and Learning Ecosystem) löst diese Probleme mit drei Kernkomponenten:

• MAPLE‑bench – das erste Benchmark, das explizit die minimalen Signal­kombinationen für jede Aufgabe angibt.
• MAPO – ein policy‑optimierungs‑Framework, das Batches nach Modalitätsanforderungen stratifiziert und dadurch die Varianz heterogener Gruppen­vorteile reduziert.
• Adaptive Gewichtung und Curriculum‑Scheduling, die schwerere Signal­kombinationen priorisieren und das Lernen gezielt steuern.

Durch systematische Analysen von Verlustaggregation, Clipping, Sampling und Curriculum‑Design wurde die optimale Trainingsstrategie für MAPO identifiziert. Adaptive Gewichtung und Curriculum‑basiertes Lernen steigern die Leistung zusätzlich. MAPLE schließt die Genauigkeitslücke zwischen ein‑ und multimodalen Modellen um 30,24 % und beschleunigt die Konvergenz um das 3,18‑fache. Gleichzeitig bleibt die Stabilität über alle Modalitäts­kombinationen hinweg erhalten, selbst wenn die Signalverfügbarkeit reduziert ist.

MAPLE bietet damit ein komplettes, einsatzbereites Rezept für multimodale Reinforcement‑Learning‑Post‑Training‑Anwendungen, das sowohl Effizienz als auch Robustheit in realen Szenarien garantiert.