FedGEM: Federiertes EM für unbekannte Clusterzahl – neue Methode überzeugt

In der Welt der verteilten Datenanalyse stellt die Frage, wie viele Cluster in einem Netzwerk von Clients existieren, ein zentrales Problem dar. Die Autoren des neuen Papers zeigen, dass die Clusterzahl häufig nicht im Voraus bekannt ist und dass die lokalen Datensätze der Clients unterschiedliche, aber teilweise überlappende Clusterstrukturen aufweisen können.

Um dieses Problem zu lösen, stellen sie FedGEM vor – einen federated generalized expectation‑maximization‑Algorithmus. Jeder Client führt dabei lokale EM‑Schritte durch und bildet um die lokalen Komponenten ein Unsicherheitsintervall. Der zentrale Server nutzt diese Intervalle, um mögliche Überschneidungen zwischen den Clients zu erkennen und die globale Clusterzahl exakt zu bestimmen. Der Ansatz ist vollständig dezentralisiert und erfordert lediglich die Übermittlung von kompakteren Uncertainty‑Sets.

Die Autoren liefern eine gründliche theoretische Analyse, die probabilistische Konvergenzgarantien unter üblichen Annahmen nachweist. Für den speziellen Fall isotroper GMMs zeigen sie, dass die Berechnungen auf den Clients sehr leichtgewichtig bleiben und die Voraussetzungen für die Konvergenz strikt erfüllt sind.

In einer Reihe von Simulationen demonstriert FedGEM, dass die Leistung nahezu mit der zentralen EM‑Methode vergleichbar ist, während sie gleichzeitig deutlich besser abschneidet als bisherige federated clustering‑Ansätze. Das Ergebnis ist ein robustes, skalierbares Verfahren, das die Grenzen der verteilten Clusteranalyse neu definiert.