First-Mover-Bias in Gradient Boosting: Mechanismus, Erkennung, Lösung

In einer neuen Studie wird der sogenannte First‑Mover‑Bias in Gradient‑Boosting‑Modellen isoliert und detailliert beschrieben. Dabei handelt es sich um eine Pfad‑abhängige Konzentration von Feature‑Importance, die durch die sequentielle Residual‑Anpassung entsteht und die SHAP‑basierten Feature‑Rankings bei multikollinearen Daten stark instabil macht.

Der Mechanismus ist einfach, aber wirkungsvoll: Wenn korrelierte Features um frühe Split‑Punkte konkurrieren, gewährt Gradient Boosting dem zuerst ausgewählten Feature einen selbstverstärkenden Vorteil. Die nachfolgenden Bäume übernehmen modifizierte Residuen, die dieses Feature begünstigen, sodass die SHAP‑Werte auf ein beliebiges Feature konzentriert werden, anstatt sich über die korrelierte Gruppe zu verteilen.

Die Wirkung verschärft sich, wenn ein einzelnes, großes Modell mit derselben Gesamtzahl an Bäumen trainiert wird – ein „Large Single Model“ liefert die schlechtesten Erklärungen aller getesteten Ansätze. Die Autoren zeigen, dass Modell‑Unabhängigkeit – sowohl im linearen als auch im nichtlinearen Regime – die beste Lösung ist.

Zur Beseitigung des Bias wurden zwei Verfahren vorgestellt: DASH (Diversified Aggregation of SHAP) und ein einfaches Seed‑Averaging (Stochastic Retrain). Beide Methoden zerbrechen die sequentielle Abhängigkeitskette und erreichen bei rho = 0,9 eine Stabilität von 0,977, während das Single‑Best‑Workflow bei 0,958 und das Large Single Model bei 0,938 liegen. Auf dem Breast‑Cancer‑Datensatz verbessert DASH die Stabilität von 0,32 auf 0,93 – ein Plus von 0,61 gegenüber einem Baum‑zahl‑gleichen Baseline.

Zusätzlich bietet DASH zwei diagnostische Werkzeuge: ein Feature‑Stabilitätsdiagramm und ein Feature‑Wichtungsverteilung-Diagramm. Diese Visualisierungen ermöglichen es, die Auswirkungen von First‑Mover‑Bias sofort zu erkennen und die Effektivität der gewählten Mitigation zu überwachen.