Neues Verfahren: OTMF fusioniert Aufgabenmodelle ohne Wissenverlust

In der Forschung zur künstlichen Intelligenz gewinnt die Kombination mehrerer, für unterschiedliche Aufgaben feintuned Modelle zu einem einzigen, vielseitigen System zunehmend an Bedeutung. Traditionelle Methoden, die Parameter direkt im Gewichtespace interpolieren, führen jedoch zu erheblichen Verschiebungen der Featureverteilung und gefährden die spezifische Aufgabenkenntnis.

Das neue Verfahren OTMF – Optimal Transport-based Masked Fusion – nutzt die Theorie des optimalen Transports, um die semantische Geometrie der einzelnen Aufgabenmodelle auszurichten. Anstatt Features oder Gewichte einfach zu addieren, identifiziert OTMF gemeinsame Masken, die auf die Aufgabenvektoren angewendet werden. Diese Masken extrahieren gezielt übertragbare, aufgabenunabhängige Komponenten und bewahren gleichzeitig die einzigartigen Strukturen jeder Aufgabe.

Ein besonderes Merkmal von OTMF ist die Möglichkeit einer kontinuierlichen Fusion. Neue Aufgabenvektoren können schrittweise integriert werden, ohne dass frühere Modelle erneut betrachtet werden müssen. Dadurch bleibt der Speicherbedarf begrenzt und die Fusion bleibt effizient, selbst wenn die Anzahl der Aufgaben stetig wächst.

Umfangreiche Experimente an Bild- und Sprachbenchmarks zeigen, dass OTMF sowohl in Bezug auf Genauigkeit als auch Effizienz den aktuellen Stand der Technik übertrifft. Diese Ergebnisse unterstreichen die praktische und theoretische Relevanz des Ansatzes für die Modellfusion in realen Anwendungen.