Framework optimiert Quellengewichte und Transfermenge im Multi-Source Transfer

Transfer‑Learning ist ein entscheidender Ansatz, um Modelle in datenarmen Szenarien zu verbessern. Doch wenn mehrere Quellaufgaben gleichmäßig übertragen werden, kann dies zu negativer Transferwirkung führen – ein Problem, das bisher kaum adressiert wurde.

Die meisten bestehenden Verfahren konzentrieren sich entweder auf die Gewichtung der Quellen oder auf die Menge der übertragenen Stichproben, vernachlässigen jedoch die wechselseitige Optimierung beider Faktoren. In diesem Zusammenhang präsentiert die neue Arbeit das „Unified Optimization of Weights and Quantities“ (UOWQ), ein theoretisches Rahmenwerk, das Multi‑Source‑Transfer‑Learning als Parameter‑Schätzproblem formuliert und dabei asymptotische Analysen des Kullback‑Leibler‑divergenzbasierten Generalisierungsfehlers nutzt.

UOWQ liefert die entscheidende Erkenntnis, dass die Nutzung aller verfügbaren Quellproben immer optimal ist, sofern die Gewichte korrekt angepasst werden. Für den Ein‑Quellen‑Fall ergeben sich geschlossene Formeln für die optimalen Gewichte, während für mehrere Quellen ein konvexes Optimierungsverfahren entwickelt wird, das die optimalen Transfermenge und -gewichte gleichzeitig bestimmt.

Auf Basis dieser theoretischen Resultate wurden praktische Algorithmen für Multi‑Source‑Transfer‑Learning sowie Multi‑Task‑Learning entwickelt. Umfangreiche Experimente an realen Benchmarks wie DomainNet und Office‑Home zeigen, dass UOWQ die Leistung konsistent steigert und damit einen bedeutenden Fortschritt im Bereich des Transfer‑Learnings darstellt.