EM-Algorithmus konvergiert exponentiell bei allgemeinen agnostischen Mischungen

In der Statistik und im maschinellen Lernen ist die Mischung aus linearen Regressionsmodellen ein klassisches Problem. Hierbei werden Datenpunkte mithilfe von k linearen Modellen erzeugt und das Ziel ist, die zugrunde liegenden Regressoren zu rekonstruieren. Der Expectation‑Maximization‑Algorithmus (EM) ist dafür ein bewährtes Verfahren. In jüngerer Zeit wurden jedoch agnostische Varianten untersucht, bei denen keine generative Modellannahme getroffen wird.

Die neue Arbeit erweitert dieses Konzept auf beliebige parametrische Funktionen, die mit einer stark konvexen und glatten Verlustfunktion optimiert werden. Der Autoren zufolge konvergiert eine modifizierte Version von EM – der Gradient‑EM – exponentiell zum optimalen Verlustminimierer, sofern die Initialisierung und eine Trennbedingung erfüllt sind. Das Ergebnis gilt mit hoher Wahrscheinlichkeit für die Population.

Damit deckt die Methode ein breites Spektrum ab, darunter regulierte gemischte lineare Regressionen, gemischte logistische Regressionen, gemischte Support‑Vector‑Maschinen und gemischte generalisierte lineare Modelle. Die Ergebnisse unterstreichen die Wirksamkeit von EM‑ähnlichen Algorithmen in agnostischen Settings und eröffnen neue Perspektiven für die Analyse komplexer Mischmodelle.