MultiTab-Net: Transformer für Multitask‑Lernen bei Tabellendaten

Tabellendaten bilden die Grundlage zahlreicher Wirtschaftssysteme – von Finanzen über Gesundheitswesen bis hin zu E‑Commerce. Mit wachsendem Umfang und zunehmender Vielfalt an Zielen steigt der Bedarf, gemeinsam genutzte Informationen auszunutzen, um die Generalisierung bei Multitask‑Lernen (MTL) zu verbessern. Bisher konzentrierte sich MTL vor allem auf große Empfehlungssysteme, während die Potenziale in breiteren tabellarischen Anwendungsfeldern kaum erschlossen wurden.

Ein weiteres Hindernis ist die Abhängigkeit der meisten MTL‑Ansätze von Multi‑Layer‑Perceptron‑Backbones. Diese Modelle haben Schwierigkeiten, komplexe Feature‑Interaktionen zu erfassen und skalieren bei großen Datensätzen schlecht – ein Problem, das Transformer‑Architekturen in anderen Bereichen bereits gelöst haben.

Vor diesem Hintergrund präsentiert die Forschung MultiTab‑Net, die erste Multitask‑Transformer‑Architektur, die speziell für große tabellarische Daten entwickelt wurde. Das System nutzt einen neuartigen multitask‑masked‑Attention‑Mechanismus, der dynamisch Feature‑Feature‑Abhängigkeiten modelliert und gleichzeitig Konkurrenz zwischen den Aufgaben reduziert.

Umfangreiche Experimente zeigen, dass MultiTab‑Net konsequent höhere Multitask‑Gewinne erzielt als bestehende MTL‑Architekturen und einzelne Task‑Transformers. Die Verbesserungen erstrecken sich über verschiedene Domänen – von großen Empfehlungssystemen über sozioökonomische Census‑Daten bis hin zu physikalischen Datensätzen – und decken ein breites Spektrum an Aufgabenanzahlen, Aufgabentypen und Feature‑Modalitäten ab.

Zusätzlich wird MultiTab‑Bench als generisches, synthetisches Multitask‑Dataset vorgestellt, das die Entwicklung und Bewertung von MTL‑Modellen in tabellarischen Kontexten erleichtert.