Domain Expansion: Neues Framework für Multi-Task‑Lernen ohne latente Kollaps

Beim Training eines einzigen Netzwerks mit mehreren Aufgaben treten häufig widersprüchliche Gradienten auf, die die gemeinsamen Repräsentationen schwächen. Das führt zu einem „latenten Kollaps“, bei dem das Modell für keine einzelne Aufgabe optimal arbeitet. Das neue Konzept Domain Expansion löst dieses Problem, indem es den latenten Raum neu strukturiert.

Im Kern nutzt Domain Expansion einen orthogonalen Pooling‑Mechanismus, der jedem Lernziel einen eigenen, orthogonalen Teilraum zuweist. Dadurch werden die Gradienten der verschiedenen Aufgaben voneinander getrennt, sodass sie sich nicht gegenseitig behindern. Das Ergebnis ist ein stabiler, nicht kollabierter latenter Raum, der gleichzeitig explizit und interpretierbar bleibt.

Die Wirksamkeit des Ansatzes wurde an einer Reihe von Benchmark‑Datensätzen getestet, darunter ShapeNet, MPIIGaze und Rotated MNIST. In Kombination aus Klassifikation, Pose‑ und Blick‑Erkennung zeigte Domain Expansion nicht nur die Vermeidung von Kollaps, sondern auch die Möglichkeit, Konzepte direkt im latenten Raum zu manipulieren. Damit bietet das Framework eine vielversprechende Lösung für komplexe Multi‑Task‑Learning‑Probleme.