Von Koeffizienten zu Richtungen: Modellfusion mit richtungsbasiertem Alignment

Die Fusion mehrerer, unabhängig trainierter Modelle zu einem einzigen Modell ohne erneutes Joint‑Training hat sich als äußerst praktisch erwiesen. Frühere Ansätze kombinierten Parameter über Techniken wie Parameter‑Decomposition, Koeffizienten‑Optimierung oder Subspace‑Learning und erzielten damit beeindruckende Ergebnisse bei einer deutlich geringeren Trainingskosten.

Allerdings behandeln diese Methoden die Modellfusion vorwiegend als Problem der Parameter‑Raum‑Decomposition oder der Optimierung von Fusionskoeffizienten. Dabei wird die entscheidende Rolle von Richtungsinformationen in Parameter‑ und Feature‑Räumen vernachlässigt. In der Praxis führt eine näive Zusammenführung zu Inkonsistenzen in den dominanten Parameter‑Richtungen und stört die strukturelle Kohärenz zwischen den Modellen, was die Leistung beeinträchtigen kann.

Das neue Verfahren „Merging with Directional Alignment“ (MDA) adressiert dieses Problem, indem es die Richtungsstrukturen konsequent in beiden Räumen ausrichtet. Durch einen einheitlichen geometrischen Rahmen werden Parameter‑ und Feature‑Richtungen synchronisiert, was die strukturelle Kohärenz verbessert und die Annahme kompatibler Feature‑Richtungen, die in klassischen Koeffizienten‑Optimierungen impliziert wird, aufhebt.

Umfangreiche Experimente zeigen, dass MDA die strukturelle Kohärenz deutlich steigert und die Leistung über verschiedene Aufgaben hinweg über den bisherigen Koeffizienten‑basierten Methoden hinaus verbessert. Damit eröffnet das Verfahren einen neuen Ansatz für die effiziente und robuste Integration mehrerer Modelle in einer einzigen, leistungsfähigen Einheit.