Chebyshev-Polynome und anisotrope RBF-Modelle in Tabellendatenregression

In einer aktuellen Veröffentlichung auf arXiv wird die Rolle von glatten Basisfunktionen in der Tabellendatenregression neu beleuchtet. Während Entscheidungsbäume und Ensemble‑Methoden seit langem die dominierende Wahl sind, zeigen die Autoren, dass Chebyshev‑Polynome und radial basis function (RBF) Netzwerke ebenfalls konkurrenzfähig sein können.

Die Studie präsentiert drei neue Modelle, die als scikit‑learn‑kompatible Pakete verfügbar sind: ein anisotropes RBF‑Netzwerk mit datengetriebener Zentrenplatzierung und gradientenbasierter Breitenoptimierung, ein ridge‑regularisierter Chebyshev‑Polynomregressor sowie ein hybrides „Chebyshev‑Model‑Tree“, das die Vorteile von glatten Modellen und Baumstrukturen kombiniert.

Um die Leistungsfähigkeit zu prüfen, wurden die Modelle auf 55 Regression‑Datensätzen aus unterschiedlichen Anwendungsdomänen benchmarked. Dabei wurden sie gegen gängige Entscheidungsbaum‑Ensembles, einen vortrainierten Transformer und Standard‑Baseline‑Modelle getestet. Die Bewertung umfasste sowohl die Genauigkeit als auch das Generalisierungsverhalten.

Die Ergebnisse zeigen, dass der Transformer in Bezug auf die Genauigkeit die meisten Datensätze anführt. Allerdings sind GPU‑Abhängigkeit, Inferenz‑Latenz und Beschränkungen bei der Datensatzgröße erhebliche Hindernisse für die breite Anwendung in CPU‑basierten Umgebungen. Für CPU‑fähige Modelle schneiden die glatten Modelle und die Baum‑Ensembles statistisch gleich ab, wobei die glatten Modelle tendenziell engere Generalisierungs­schwellen aufweisen.

Auf Basis dieser Erkenntnisse empfehlen die Autoren, glatte Basismodelle regelmäßig in den Kandidatenpool aufzunehmen, insbesondere wenn eine engere Generalisierung und sanft variierende Vorhersagen von Vorteil sind. Die neuen Pakete ermöglichen es Forschern und Praktikern, diese Modelle einfach in bestehende Workflows zu integrieren.