Sine-Activation in Fourier Analysis Network löst Dying-ReLU-Problem

Die neu vorgestellte Fourier Analysis Network (FAN) nutzt Sinus‑ und Kosinus‑Aktivierungen, um neuronale Netze zu verbessern. Aktuelle Untersuchungen zeigen jedoch, dass nur die Sinus‑Funktion tatsächlich einen positiven Einfluss hat, während die Kosinus‑Komponente sogar nachteilig wirkt.

Der Schlüssel zum Erfolg liegt nicht in der periodischen Natur der Sinus‑Funktion, sondern in ihrem lokalen Verhalten nahe x = 0. Dort besitzt sie einen nicht‑nullen Ableitungswert, der das Vanishing‑Gradient‑Problem mildert und damit das Training stabilisiert.

FAN adressiert insbesondere das Dying‑ReLU‑Problem, bei dem Neuronen durch kontinuierlich negative Eingaben keine Gradienten mehr erhalten und somit nicht mehr lernen. Auch moderne ReLU‑ähnliche Aktivierungen wie Leaky ReLU, GELU oder Swish weisen noch Bereiche mit stark abgeschwächten Gradienten auf, was die Optimierung verlangsamt.

Durch die Einführung eines stabileren Gradientenpfades verschiebt sich das Verständnis von FAN von einer spektralen Interpretation hin zu einer konkreten Analyse der Trainingsdynamik. Daraus entstand die Dual‑Activation Layer (DAL), ein effizienterer Beschleuniger für die Konvergenz. DAL wurde erfolgreich an drei Aufgaben getestet, darunter die Klassifikation von verrauschten Sinus‑Signalen.