SiLU-Netzwerke erreichen exponentielle Approximationseffizienz bei glatten Funktionen

Ein neues arXiv‑Veröffentlichung (2512.12132v1) legt einen umfassenden theoretischen Rahmen vor, der zeigt, dass neuronale Netze mit der Sigmoid Linear Unit (SiLU) Aktivierungsfunktion exponentielle Approximationsraten für glatte Funktionen erzielen können. Dabei wird die Komplexität deutlich besser kontrolliert als bei klassischen ReLU‑Netzen.

Der Kern der Arbeit ist eine neuartige hierarchische Konstruktion, die zunächst die Quadratfunktion \(x^2\) effizient approximiert. Im Vergleich zu bestehenden ReLU‑Realisationen, wie denen von Yarotsky, ist diese Version kompakter in Tiefe und Größe. Die Fehlerabschätzung für diese Basisfunktion fällt mit \(\mathcal{O}(\omega^{-2k})\) und erfordert nur eine konstante Tiefe \(\mathcal{O}(1)\).

Durch funktionale Komposition wird die Methode auf tiefere SiLU‑Netze ausgeweitet, die Sobolev‑Klassenfunktionen mit gleicher Tiefe \(\mathcal{O}(1)\) approximieren. Die benötigte Netzgröße skaliert dabei mit \(\mathcal{O}(\varepsilon^{-d/n})\), was eine effiziente Handhabung hoher Genauigkeiten ermöglicht.

Diese Ergebnisse unterstreichen die Leistungsfähigkeit von SiLU‑Netzen als Alternative zu ReLU‑Netzen, insbesondere wenn exponentielle Approximationseffizienz und kompakte Netzwerkarchitekturen gefordert sind. Die Arbeit liefert damit wichtige theoretische Grundlagen für zukünftige Anwendungen in der Deep‑Learning‑Forschung.