AutoS: Automatische Auswahl von Quellwissen verbessert Multi-Domain-Transfer

In der Welt des Transferlernens spielt die unüberwachte Multi-Domain-Adaptation eine entscheidende Rolle, indem sie reichhaltige Informationen aus mehreren Quelldomains nutzt, um Aufgaben in einer unbeschrifteten Ziel-Domain zu lösen. Doch häufig enthalten diese Quelldomains viel redundante oder irrelevante Daten, die die Leistung des Transfers beeinträchtigen – ein Problem, das besonders in Szenarien mit einer großen Anzahl von Quelldomains akut wird.

Um diesem Problem zu begegnen, wurde die Methode AutoS entwickelt, die automatisch die relevantesten Trainingsbeispiele und Modelle aus einer Vielzahl von Quelldomains auswählt. Durch eine dichte-basierte Auswahlstrategie werden während des Trainings die wertvollsten Quellproben identifiziert und gleichzeitig entschieden, welche Quellmodelle zur Vorhersage im Zielbereich beitragen sollen.

Zusätzlich integriert AutoS ein Pseudo-Label-Verbesserungsmodul, das auf einem vortrainierten multimodalen Modell basiert. Dieses Modul reduziert Rauschen in den Ziel-Labels und stärkt die Selbstüberwachung, was die Gesamtleistung weiter steigert. Experimente an realen Datensätzen zeigen, dass AutoS die Transferleistung deutlich über die bisherigen Ansätze hinaus verbessert.