Effizienter Wissenstransfer aus mehreren Modellen durch Modellfusion

Transfer‑Learning ist ein bewährter Ansatz, doch bisher wird das Potenzial, Wissen aus einer Vielzahl verfügbarer Online‑Modelle zu nutzen, kaum ausgeschöpft. Die neue Methode löst dieses Problem, indem sie die Informationen aus vielen Quellmodellen präzise extrahiert und effizient zusammenführt – ein entscheidender Schritt, um die Anpassungsfähigkeit zu erhöhen und die Kosten für erneutes Training zu senken.

Der Schlüssel liegt in der Singular Value Decomposition (SVD). Jedes Quellmodell wird zunächst in einzelne, rank‑one‑Komponenten zerlegt. Anschließend wählt ein Aggregationsschritt die wichtigsten Komponenten aus allen Quellen aus, wodurch die zuvor bestehenden Einschränkungen an Präzision und Aggregationseffizienz überwunden werden. Dadurch kann ein großes Wissen aus vielen Modellen – selbst mit hoher Parameterzahl – kompakt zusammengefasst werden.

Um das neu geschaffene Wissens‑Repository optimal an die Zielaufgabe anzupassen, wird anschließend nur die Hauptsingulärwerte der zusammengeführten Matrix feinjustiert. Dieser Schritt ändert lediglich die Gewichtung der wichtigsten SVD‑Komponenten, ohne die gesamte Struktur zu verändern. Das Ergebnis ist ein robustes, fehlerresistentes Modell, das sowohl bei Eingangs‑ als auch bei Parameter‑Störungen stabil bleibt und sich dabei rechenintensiv gut skalieren lässt.