TabDistill: Tabellarische Grundmodelle entdecken Interaktionen für GAMs

Die Suche nach aussagekräftigen Feature‑Interaktionen gilt als zentrales Problem bei der Entwicklung genauer und zugleich interpretierbarer Modelle für tabellarische Daten. Generalisierte additive Modelle (GAMs) haben sich dabei als sehr erfolgreich erwiesen, greifen jedoch häufig auf heuristische Verfahren zurück, die höhere oder kontextabhängige Effekte übersehen können.

Um diesem Problem zu begegnen, stellt das neue Verfahren TabDistill vor, das tabellarische Grundmodelle mit post‑hoc‑Distillation kombiniert. Die Grundidee ist, dass große, vortrainierte Modelle aus umfangreichem Representation Learning implizit komplexe, adaptive Abhängigkeiten zwischen Features erlernen.

TabDistill arbeitet in zwei Schritten: Zunächst wird ein tabellarisches Grundmodell auf dem jeweiligen Datensatz trainiert. Anschließend wird ein Interaktions‑Attributionsverfahren angewendet, um die wichtigsten Feature‑Interaktionen zu extrahieren. Diese Interaktionen werden dann als Terme in ein GAM integriert.

In einer Reihe von Aufgaben zeigte sich, dass die von TabDistill identifizierten Interaktionen die Vorhersageleistung der GAMs konsistent verbessern. Die Ergebnisse deuten darauf hin, dass tabellarische Grundmodelle als datengetriebene Leitfäden für die Entdeckung von Interaktionen dienen können und so die Kluft zwischen hochkapazitären Modellen und interpretierbaren additiven Rahmenwerken überbrücken.