Skalierbare Kalibrierung: Empirische Analyse modellunabhängiger Post‑Hoc‑Methoden

In einer umfassenden Untersuchung wurden 21 gängige Klassifikatoren – von linearen Modellen über SVMs bis hin zu Tree‑Ensembles wie CatBoost, XGBoost und LightGBM sowie modernen tabellarischen neuronalen Netzwerken – auf einer Vielzahl von binären Aufgaben aus der TabArena‑v0.1‑Suite getestet. Dabei wurde ein randomisiertes, stratifiziertes fünf‑Fold‑Cross‑Validation‑Schema mit einem separaten Test‑Fold verwendet, um die Generalisierbarkeit der Ergebnisse zu gewährleisten.

Für die Kalibrierung wurden fünf model‑agnostische Post‑Hoc‑Methoden eingesetzt: Isotonic Regression, Platt Scaling, Beta Calibration, Venn‑Abers Predictors und Pearsonify. Diese wurden auf einem eigenen Kalibrierungs‑Split trainiert und anschließend auf die Test‑Vorhersagen angewendet. Die Bewertung erfolgte anhand von Proper‑Scoring‑Rules wie Log‑Loss und Brier‑Score sowie diagnostischen Maßen wie Spiegelhalter‑Z, ECE und ECI, ergänzt durch AUC‑ROC und klassische Klassifikationsmetriken.

Die Ergebnisse zeigen, dass Venn‑Abers Predictors die größte durchschnittliche Reduktion des Log‑Loss erzielen, gefolgt von Beta Calibration. Platt Scaling hingegen liefert schwächere und weniger konsistente Verbesserungen. Beta Calibration verbessert den Log‑Loss in den meisten Aufgaben am häufigsten, während Venn‑Abers seltener extreme Verschlechterungen verursacht und leicht mehr extreme Verbesserungen zeigt. Besonders auffällig ist, dass verbreitete Kalibrierungsverfahren wie Platt Scaling und Isotonic Regression systematisch die Performance von Proper‑Scoring‑Metrics verschlechtern können.

Diese Studie liefert wertvolle Erkenntnisse für die Praxis: Venn‑Abers und Beta Calibration sind robuste, modellunabhängige Optionen, die die probabilistische Genauigkeit von Klassifikatoren signifikant steigern, während klassische Verfahren wie Platt Scaling mit Vorsicht eingesetzt werden sollten, um unerwünschte Effekte zu vermeiden.