xRFM: Präzise, skalierbare Feature‑Lernmodelle für tabellarische Daten

Tabellarische Daten – Matrizen aus kontinuierlichen und kategorialen Variablen – bilden die Basis vieler moderner Technologien und wissenschaftlicher Analysen. Trotz der rasanten Entwicklungen im KI‑Bereich bleibt die bewährte Praxis für Vorhersagen aus solchen Daten weitgehend unverändert: Gradient Boosted Decision Trees (GBDTs) dominieren den Markt.

In den letzten Monaten hat die Forschung jedoch ein neues Interesse an hochmodernen Methoden für tabellarische Daten geweckt, die auf den jüngsten Fortschritten in neuronalen Netzen und Feature‑Learning basieren. In diesem Kontext wurde xRFM vorgestellt, ein Algorithmus, der Kernel‑Machine‑Feature‑Learning mit einer Baumstruktur kombiniert. Dadurch kann xRFM die lokale Struktur der Daten adaptiv erfassen und gleichzeitig mit nahezu unbegrenzten Trainingsmengen skalieren.

Die Ergebnisse sprechen für sich: Im Vergleich zu 31 anderen Verfahren, darunter die neu eingeführten TabPFNv2‑Modelle und klassische GBDTs, erzielt xRFM die beste Leistung auf 100 Regressionsdatensätzen und ist bei 200 Klassifikationsdatensätzen mit den Spitzenmethoden konkurrierend – dabei übertrifft es die GBDTs. Zusätzlich bietet xRFM von Haus aus Interpretierbarkeit über das Average Gradient Outer Product, was die Nachvollziehbarkeit der Vorhersagen erheblich verbessert.