ETAP: Ensemble-Ansatz für effizientes Multi-Task-Lernen

In der Multi-Task-Lernforschung besteht ein zentrales Problem darin, passende Aufgaben­gruppen zu finden, die gemeinsam trainiert werden sollten. Da das Training von Modellen für jede mögliche Kombination von Aufgaben bei großen Task‑Sets unverhältnismäßig teuer ist, ist eine zuverlässige Vorhersage, ob ein Aufgaben­cluster von einem gemeinsamen Training profitieren würde, entscheidend.

Das neue Framework ETAP (Ensemble Task Affinity Predictor) löst dieses Problem, indem es zunächst die Gradienten‑Updates gemeinsamer Parameter nutzt, um die „Affinität“ zwischen Aufgaben zu messen. Dieser lineare Affinitäts­Score basiert auf der Ähnlichkeit der Parameteränderungen, die jeweils durch die jeweiligen Aufgaben erzeugt werden, und lässt sich nahtlos auf ganze Aufgaben­gruppen erweitern.

Um die linearen Schätzungen zu verfeinern, trainiert ETAP anschließend nichtlineare Vorhersager, die Residuen korrigieren und komplexe, nichtlineare Beziehungen zwischen Aufgaben erfassen. Diese Modelle werden mit einer begrenzten Anzahl von Aufgaben­gruppen trainiert, für die die tatsächlichen Leistungsgewinne durch Multi‑Task‑Training ermittelt wurden.

Experimentelle Ergebnisse auf mehreren Benchmark‑Datensätzen zeigen, dass ETAP die Vorhersagegenauigkeit der Multi‑Task‑Gewinne deutlich steigert und dadurch effektivere Aufgaben­gruppen bildet. Im Vergleich zu aktuellen Baselines übertrifft ETAP die Leistung in unterschiedlichen Anwendungs­bereichen und bietet damit einen vielversprechenden Ansatz für skalierbares Multi‑Task‑Learning.