Bilevel-Programmierung: Bias‑Variance‑Analyse verbessert Hyperparameter‑Optimierung

Gradientenbasierte Hyperparameter‑Optimierung (HPO) nutzt seit Kurzem Bilevel‑Programmierung, um die Hyperparameter anhand des Hypergradienten zum Validierungsfehler zu optimieren. Bisher konzentrierten sich theoretische Arbeiten fast ausschließlich auf die Reduktion des Bias, also des Abweichens zwischen geschätztem und wahrem Hypergradienten, während die Varianz – die Fehlerquelle, die aus der Datenverteilung entsteht – weitgehend vernachlässigt wurde.

Die neue Studie führt eine vollständige Bias‑Variance‑Zerlegung des Hypergradienten‑Fehlers ein und liefert detaillierte Fehlergrenzen, die die bisher ignorierte Varianz berücksichtigen. Diese Analyse erklärt, warum HPO‑Algorithmen häufig zu einer Überanpassung an das Validierungsset neigen, und liefert damit ein klareres Bild der praktischen Leistungsprobleme.

Auf Basis der gewonnenen Erkenntnisse wird ein Ensemble‑Hypergradient‑Ansatz vorgestellt, der die Varianz gezielt reduziert. Durch die Kombination mehrerer Hypergradient‑Schätzungen wird die Stabilität erhöht und die Genauigkeit der Optimierung verbessert.

Experimentelle Ergebnisse auf Aufgaben wie der Lernoptimierung von Regularisierungs­hyperparametern, Daten‑Hyper‑Cleaning und Few‑Shot‑Learning zeigen, dass die Varianz‑Reduktionsstrategie die Hypergradient‑Schätzung signifikant verbessert. Darüber hinaus wird eine Verbindung zwischen dem übermäßigen Fehler (excess error) und der Hypergradient‑Schätzung hergestellt, die die beobachteten Leistungssteigerungen nachvollziehbar macht.