Neues Forschungsprojekt untersucht Aktivierungsfunktionen und Nicht‑IID‑Daten für robuste ML‑Modelle

In einer aktuellen Studie von Forschern aus dem Bereich der künstlichen Intelligenz wurde die Robustheit von maschinellen Lernmodellen systematisch unter Einsatz von zehn verschiedenen Aktivierungsfunktionen untersucht. Dabei lag der Fokus auf adversarial Training – einer Technik, die Modelle gegen gezielte Angriffe stärkt – sowohl in zentralisierten als auch in föderierten Lernumgebungen.

Im zentralisierten Setting wurde ein fortschrittlicher Ansatz entwickelt, der neben der Auswahl der Aktivierungsfunktion auch Soft‑Labeling, vereinfachte Datenaugmentation und variable Lernraten einsetzt. Die Experimente auf dem Benchmark‑Datensatz CIFAR‑10 zeigten, dass die Modelle mit ReLU die höchste natürliche Genauigkeit von 77,08 % und eine robuste Genauigkeit von 67,96 % gegen Fast‑Gradient‑Sign‑Angriffe erreichten. Die übrigen neun Aktivierungsfunktionen ließen ähnliche, jedoch leicht geringere Ergebnisse erzielen.

Im föderierten Lernmodus, insbesondere bei nicht‑IID‑Daten, fiel die robuste Genauigkeit deutlich. Um diesem Leistungsabfall entgegenzuwirken, wurde ein Daten‑Sharing‑Mechanismus eingeführt, der die Modelle in heterogenen Datensätzen wieder stabiler macht. Die Ergebnisse deuten darauf hin, dass die Wahl der Aktivierungsfunktion und die Berücksichtigung von Datenheterogenität entscheidende Faktoren für die Sicherheit von ML‑Systemen sind.