Spline-basierte Encodings: Neue Erkenntnisse für tabellarisches Deep Learning

In der Welt des tabellarischen Deep Learning spielt die numerische Vorverarbeitung eine entscheidende Rolle – sie bestimmt, wie kontinuierliche Merkmale in neuronale Netze eingespeist werden und kann die Leistung stark beeinflussen. Ein neues arXiv‑Veröffentlichung untersucht diese Thematik eingehend und konzentriert sich dabei auf splinebasierte Encodings.

Die Studie analysiert drei Spline‑Familien: B‑Splines, M‑Splines und integrierte Splines (I‑Splines). Für jede Familie werden vier Knotensysteme getestet – gleichmäßig, quantilbasiert, zielorientiert und lernbar. Bei den lernbaren Varianten wird eine differenzierbare Knotendarstellung eingesetzt, die es ermöglicht, Knotenspositionen zusammen mit dem Netzwerk end‑to‑end zu optimieren.

Die Evaluation erstreckt sich über zahlreiche öffentliche Regressions‑ und Klassifikationsdatensätze. Dabei kommen drei Architekturen zum Einsatz: klassische MLPs, ResNet‑ähnliche Modelle und der FT‑Transformer. Die Ergebnisse zeigen, dass die Wirkung der Encodings stark vom Aufgabenbereich, der Ausgabeschicht und der gewählten Backbone‑Architektur abhängt.

Für Klassifikationsaufgaben erwies sich das Stückweise‑lineare Encoding (PLE) als die robusteste Wahl, während splinebasierte Encodings ebenfalls konkurrenzfähig bleiben. Im Regressionsbereich gibt es keine eindeutige Spitzenleistung; die Performance variiert je nach Spline‑Familie, Knotensstrategie und Ausgabengröße. Größere Verbesserungen wurden insbesondere bei MLPs und ResNets beobachtet, während der FT‑Transformer weniger stark von den Encodings profitierte.

Diese Erkenntnisse unterstreichen die Bedeutung einer sorgfältigen Auswahl der numerischen Vorverarbeitung und eröffnen neue Perspektiven für die Optimierung tabellarischer Deep‑Learning‑Modelle.