Reguliertes Meta-Lernen steigert Ensemble-Genauigkeit drastisch

Deep-Ensemble-Methoden erhöhen die Vorhersageleistung, stoßen jedoch häufig an drei praktische Grenzen: redundante Basismodelle erhöhen den Rechenaufwand und verschlechtern die Kondition, die Gewichtung wird bei Multikollinearität instabil und Meta-Learning-Pipelines neigen zum Overfitting.

Um diese Herausforderungen zu überwinden, wurde ein reguliertes Meta-Learning-Framework entwickelt, das in vier aufeinanderfolgenden Schritten arbeitet: eine redundanzbewusste Projektion, statistische Meta-Feature-Erweiterung, Kreuzvalidierte regulierte Meta-Modelle (Ridge, Lasso, ElasticNet) und ein abschließendes inverse‑RMSE‑Blending.

Die De‑Duplication‑Strategie entfernt nahezu kollineare Prädiktoren mithilfe von Korrelation‑ und MSE‑Schwellenwerten (τ_corr = 0,95). Dadurch wird die effektive Konditionszahl der Meta‑Design‑Matrix deutlich reduziert, während die Vielfalt der Vorhersagen erhalten bleibt.

Durch die Einbindung von Ensemble‑Statistiken und Interaktionstermen werden höhere Ordnungsstrukturen erfasst, die in den Rohvorhersagen nicht sichtbar sind. Das finale inverse‑RMSE‑Blending verringert die Varianz, die durch die Auswahl des Regularizers entsteht.

Auf dem Playground Series S6E1 Benchmark mit 100 000 Stichproben und 72 Basismodellen erzielte das neue Verfahren ein out‑of‑fold RMSE von 8,582. Das ist besser als einfaches Averaging (8,894), konventionelles Ridge‑Stacking (8,627) und gleichwertig mit greedy hill climbing (8,603), jedoch viermal schneller.

Eine Konditionsanalyse zeigte eine Reduktion der effektiven Konditionszahl um 53,7 % nach der redundanzbewussten Projektion. Umfangreiche Ablationsstudien bestätigten, dass De‑Duplication, statistische Meta‑Features und das Meta‑Ensemble jeweils konsistente Verbesserungen liefern.

Das regulierte Meta‑Learning bietet damit eine robuste, schnellere und genauere Lösung für Ensemble‑Modelle, die sowohl die Leistung steigert als auch die Rechenkosten senkt.