Forschungsdokument: Neuronale Netze robust gegen interne Störungen

In einer neuen Veröffentlichung auf arXiv wird gezeigt, wie neuronale Netzwerke so trainiert werden können, dass sie auch bei erheblichen Störungen ihrer Gewichte zuverlässig funktionieren. Das Ziel ist besonders relevant für zukünftige Low‑Power‑Hardware, bei der interne Rauschen und Hardware‑Fehler unvermeidlich sind.

Die Autoren untersuchen zwei Ansätze: Sharpness‑Aware Minimization (SAM) und Random‑Weight Perturbation (RWP). Beide Methoden zielen darauf ab, Minima im Verlustfeld zu finden, die gegen zufällige Gewichtsstörungen beständig sind. Dabei werden zwei zentrale Fragen adressiert: Wie lässt sich die Generalisierung bei verrauschten Modellen verbessern und wie kann die Optimierung unter starken Störungen maximiert werden?

Wichtiges Ergebnis ist, dass ein überreguliertes RWP‑Training theoretisch und praktisch die beste Leistung bei kleinen bis mittleren Rauschstärken liefert. Für sehr große Störungen hingegen führt SAM zu einem „vanishing‑gradient“-Problem, weil das Verlustfeld ungleichmäßig wird. Durch eine dynamische Anpassung der Störungsstärke an die Entwicklung des Verlustfeldes lässt sich die Optimierung jedoch deutlich verbessern.

Die Studie liefert damit klare Richtlinien für das Training von robusten neuronalen Modellen und legt den Grundstein für die Entwicklung von KI‑Systemen, die auch unter schwierigen Hardwarebedingungen zuverlässig arbeiten.