Modell-Merging ermöglicht effiziente Optimierung multimodaler Datemischungen

In der Welt der multimodalen großen Sprachmodelle ist die Auswahl der optimalen Datenmischung entscheidend für den Erfolg des Supervised Fine‑Tuning (SFT). Doch die Suche nach den besten Mischungsgewichten über mehrere domänenspezifische Datensätze hinweg ist ein erheblicher Engpass, weil der kombinatorische Suchraum riesig ist und selbst ein einzelner Trainingslauf hohe Kosten verursacht.

Ein Ansatz, der häufig verwendet wird, ist das Modell‑Merging: Hier werden domänenspezifische Experten durch Parameter‑Interpolation zu einem einzigen Modell zusammengeführt. Diese Methode ist ressourcenschonend, weil pro Domain nur ein Training nötig ist, führt jedoch oft zu suboptimalen Ergebnissen.

Die neue Studie kombiniert die Vorteile beider Ansätze. Zunächst werden domänenspezifische multimodale Experten trainiert. Anschließend werden deren Parameter in gewichteten Kombinationen zusammengeführt, um die Leistung verschiedener Datenmischungen zu schätzen, ohne jedes Mal ein neues Modell zu trainieren.

Durch umfangreiche Experimente an 14 multimodalen Benchmarks konnte gezeigt werden, dass die zusammengeführten Proxy‑Modelle eine hohe Rangkorrelation mit Modellen aufweisen, die tatsächlich mit den jeweiligen Datenmischungen trainiert wurden. Damit wird die Suche nach optimalen Mischungsgewichten von dem ressourcenintensiven Trainingsprozess entkoppelt und bietet eine skalierbare, effiziente Lösung.

Der zugehörige Code ist öffentlich verfügbar unter https://github.com/BerasiDavide/mLLMs_merging_4_DMO.