Federated Learning auf Supercomputern: Skalierbare KI-Modelle

In der wissenschaftlichen Forschung wächst der Bedarf an großen KI-Modellen, die auf riesigen Datensätzen trainiert werden müssen. Gleichzeitig dürfen diese Daten oft nicht zentralisiert werden – sei es aus Datenschutzgründen, wegen der Datenhoheit oder einfach wegen ihrer enormen Größe. Federated Learning (FL) löst dieses Problem, indem es mehrere Standorte zusammenarbeiten lässt, ohne dass rohe Daten verschoben werden.

Die Anwendung von FL in Hochleistungsrechenzentren (HPC) bringt jedoch neue Herausforderungen mit sich. Unterschiedliche Supercomputer, heterogene Hardware und komplexe Scheduler machen die Koordination von Trainingseinheiten schwierig. Um diese Hürden zu überwinden, haben wir ein umfassendes Cross‑Facility‑Framework entwickelt, das auf dem Advanced Privacy‑Preserving Federated Learning (APPFL) System basiert und die Orchestrierung über Globus Compute und Transfer nutzt.

Wir haben das System an vier führenden Supercomputern des US‑Department of Energy (DOE) getestet. Die Ergebnisse zeigen, dass federated Learning über mehrere HPC‑Umgebungen hinweg praktisch umsetzbar ist. Gleichzeitig verdeutlichen die Messungen, wie stark heterogene Faktoren – etwa unterschiedliche Rechenressourcen oder Warteschlangenverhalten – die Trainingsleistung beeinflussen. Dabei spielt die Wahl der Algorithmen eine entscheidende Rolle, besonders unter realen HPC‑Schedulingbedingungen.

Zur Demonstration der wissenschaftlichen Anwendbarkeit haben wir ein großes Sprachmodell auf einem chemischen Instruktionsdatensatz feinabgestimmt. Die Studie unterstreicht, dass scheduler‑bewusste Algorithmus‑Designs ein zentrales Thema für zukünftige Deployments sind, um die Effizienz und Skalierbarkeit von FL in der Forschung weiter zu verbessern.