Neue Methode steigert Übertragbarkeit von selbstüberwachtem Lernen

Ein neues arXiv‑Veröffentlichung (ID 2511.13787v1) untersucht, wie gut selbstüberwachte Lernmodelle (SSL) ihre erlernten Repräsentationen auf andere Aufgaben übertragen können. Dabei werden zwei zentrale Fragen gestellt: Erstens, wie gut lässt sich die Repräsentation von SSL auf andere Aufgaben übertragen, und zweitens, wie lässt sich diese Übertragbarkeit gezielt modellieren?

Die Autoren definieren Übertragbarkeit als die Fähigkeit einer aus einer Aufgabe gewonnenen Repräsentation, die Zielsetzung einer anderen Aufgabe zu unterstützen. Inspiriert vom Meta‑Learning‑Paradigma bauen sie innerhalb jedes Trainingsbatches mehrere SSL‑Aufgaben auf, um die Übertragbarkeit explizit zu modellieren.

Durch empirische Befunde und kausale Analysen stellen sie fest, dass die Einbeziehung von Aufgaben‑Level‑Informationen zwar die Übertragbarkeit verbessert, jedoch durch Aufgabenkonflikte noch eingeschränkt bleibt. Um dieses Problem zu lösen, schlagen sie die Task Conflict Calibration (TC²) vor.

TC² teilt zunächst die Batches, um mehrere SSL‑Aufgaben zu erzeugen und Aufgaben‑Level‑Informationen einzubringen. Anschließend nutzt ein Faktor‑Extraktionsnetzwerk kausale Generierungsfaktoren für alle Aufgaben und ein Gewicht‑Extraktionsnetzwerk weist jedem Sample individuelle Gewichte zu. Durch Datenrekonstruktion, Orthogonalität und Sparsität wird die Effektivität sichergestellt. Schließlich kalibriert TC² die Sample‑Repräsentationen während des SSL‑Trainings und integriert die Methode in einen zweistufigen bi‑level‑Optimierungsrahmen, um die Übertragbarkeit der erlernten Repräsentationen zu steigern.

Experimentelle Ergebnisse auf mehreren Downstream‑Aufgaben zeigen, dass TC² die Übertragbarkeit von SSL‑Modellen konsistent verbessert und damit einen wichtigen Schritt zur effektiveren Nutzung selbstüberwachter Lernmodelle darstellt.