Adaptive Differential Privacy im Federated Learning: Mehr Stabilität

Federated Learning ermöglicht es verteilten Geräten, gemeinsam Modelle zu trainieren, ohne dass sensible Daten zentralisiert werden. In realen Anwendungen führen jedoch Geräteheterogenität und stark nicht‑identisch verteilte (Non‑IID) Daten zu instabilen und verzerrten Gradienten. Wenn zusätzlich Differential Privacy (DP) eingesetzt wird, verstärken feste Gradient-Clipping‑Regeln und das Einfügen von Gaußschem Rauschen die Gradient‑Störungen, was zu Trainingsschwankungen und Leistungseinbußen führt.

Um diese Probleme zu lösen, wurde ein adaptives DP‑Federated‑Learning‑Framework entwickelt. Auf der Client‑Seite kommt ein leichtgewichtiges lokales Komprimierungsmodul zum Einsatz, das Zwischenrepräsentationen reguliert und die Gradient‑Variabilität begrenzt, wodurch die Verstärkung von Rauschen reduziert wird. Auf der Server‑Seite passt eine adaptive Gradient‑Clipping‑Strategie die Schwellenwerte dynamisch an historische Update‑Statistiken an, um Überclipping und Rauschdominanz zu vermeiden. Zusätzlich sorgt ein constraints‑bewusstes Aggregationsverfahren dafür, dass unzuverlässige oder stark verrauschte Client‑Updates unterdrückt werden, was die globale Optimierung stabilisiert.

Durch umfangreiche Experimente auf den Datensätzen CIFAR‑10 und SVHN konnte das neue Framework eine deutlich verbesserte Konvergenz‑Stabilität sowie höhere Klassifikationsgenauigkeiten gegenüber herkömmlichen Methoden nachweisen.

Diese Ergebnisse zeigen, dass adaptive Techniken die Balance zwischen Datenschutz, Heterogenität und Effizienz in federated learning‑Systemen deutlich verbessern können und damit den Weg für robustere, praxisnahe Anwendungen ebnen.