Stitching: Asynchrone Modellzusammenführung steigert Leistung ohne Datenaustausch

In der Welt des Deep Learning ist der Zugang zu umfangreichen, vielfältigen Datensätzen entscheidend für Spitzenleistungen. Gerade im medizinischen Bereich sind die Daten jedoch häufig fragmentiert und können nicht frei geteilt werden. Während federated learning eine synchronisierte Zusammenarbeit mehrerer Parteien erfordert, untersucht diese neue Studie eine asynchrone Alternative: Modelle, die bereits eigenständig trainiert wurden, werden lediglich ausgetauscht.

Die Autoren stellen die Technik des „Stitching“ vor, bei dem Zwischenschichten zweier unabhängiger Modelle kombiniert werden. Durch das Einfügen zweier gezielt platzierter Stitching-Layer lassen sich die jeweiligen Leistungsprofile der einzelnen Modelle wiederherstellen und gleichzeitig die Generalisierung über die Daten aller Parteien hinweg verbessern.

Die Ergebnisse zeigen, dass ein Ensemble von einzeln trainierten Netzwerken zwar besser generalisiert, dabei jedoch die Leistung auf den eigenen Datensätzen der jeweiligen Partei verliert. Mit dem Stitching-Ansatz wird diese Schwäche ausgeglichen: Die Modelle behalten ihre individuelle Stärke, während die kombinierten Darstellungen die Gesamtleistung steigern. Damit demonstriert die Arbeit, dass asynchrone Zusammenarbeit ohne direkten Datenaustausch durchaus konkurrenzfähige Ergebnisse liefern kann.