Metalearning beschleunigt AutoML: 89 % weniger Laufzeit

Die neue Studie aus dem arXiv-Preprint Dynamic Design of Machine Learning Pipelines via Metalearning zeigt, wie Metalearning die Effizienz von AutoML-Systemen drastisch steigern kann. AutoML hat die Entwicklung von KI-Anwendungen demokratisiert, indem es die Auswahl von Modellen, die Abstimmung von Hyperparametern und die Feature‑Engineering‑Schritte automatisiert. Dennoch bleiben die klassischen Such- und Optimierungsverfahren – wie Random Search, Particle Swarm Optimization oder Bayesian Optimization – wegen ihres hohen Rechenaufwands und der Gefahr des Overfittings problematisch.

Der vorgestellte Ansatz nutzt historische Metaknowledge, um gezielt vielversprechende Regionen im Suchraum zu identifizieren. Durch diese dynamische Gestaltung des Suchraums werden die Optimierungsprozesse beschleunigt, ohne die Vorhersageleistung zu beeinträchtigen. In den Experimenten konnte die Laufzeit bei Random Search um beeindruckende 89 % reduziert werden, während der Suchraum für Preprozessoren um den Faktor 1,8/13 und für Klassifikatoren um 4,3/16 verkleinert wurde.

Ein weiteres Highlight ist die erfolgreiche Anpassung an Auto‑Sklearn. Dort führte die Methode zu einer signifikanten Reduktion des Suchraums und damit zu einer schnelleren Modellfindung. Die Arbeit liefert zudem wertvolle Einblicke in die Auswahl von Meta‑Features, die Erklärbarkeit der Meta‑Modelle und die Abwägungen, die bei der Reduktion von Suchräumen zu berücksichtigen sind.