Ensemble-Modelle: Wie sie Genauigkeit steigern und Überanpassung minimieren

Ensemble‑Modelle übertreffen häufig einzelne Lernalgorithmen, doch ihr Einfluss auf die Größe der Generalisierungslücke ist bislang nicht vollständig geklärt. In dieser Studie wird untersucht, wie Ensembles Genauigkeit und Überanpassung bei vier tabellarischen Klassifikationsaufgaben – Brustkrebs, Herzkrankheit, Pima‑Diabetes und Kreditkartenbetrug – ausbalancieren.

Die Analyse basiert auf wiederholter, stratifizierter Kreuzvalidierung mit statistischer Signifikanzprüfung. Dabei werden lineare Modelle, ein einzelner Entscheidungsbaum und neun Ensemble‑Methoden miteinander verglichen. Die Ergebnisse zeigen, dass Ensembles hohe Genauigkeit erreichen, ohne die Generalisierungslücke stark zu vergrößern, indem sie die Varianz durch Mittelung oder kontrolliertes Boosting reduzieren.

Bei nahezu linearen und sauberen Datensätzen generalisieren lineare Modelle bereits sehr gut, sodass Ensembles dort nur geringe Zusatzvorteile bieten. In Datensätzen mit ausgeprägter nichtlinearer Struktur steigern baumbasierte Ensembles die Testgenauigkeit um 5 bis 7 Punkte und halten die Lücke unter 3 %. Auf verrauschten oder stark unausgeglichenen Daten bleiben Ensembles konkurrenzfähig, benötigen jedoch Regularisierung, um kein Rauschen oder Muster der Mehrheitsklasse zu lernen.

Zusätzlich wurden einfache Komplexitätsindikatoren wie Linearitäts‑Score, Fisher‑Ratio und Rauschschätzung berechnet, die erklären, wann Ensembles die Varianz effektiv kontrollieren. Insgesamt liefert die Studie einen klaren Überblick darüber, wie und wann Ensembles hohe Genauigkeit erzielen und gleichzeitig Überanpassung minimieren, und gibt praktische Hinweise für die Modellwahl in realen tabellarischen Anwendungen.