Sine-Activation in Fourier Analysis Network löst Dying-ReLU-Problem
Die neu vorgestellte Fourier Analysis Network (FAN) nutzt Sinus‑ und Kosinus‑Aktivierungen, um neuronale Netze zu verbessern. Aktuelle Untersuchungen zeigen jedoch, dass nur die Sinus‑Funktion tatsächlich einen positive…