Rationale Aktivierungen: Mehr Ausdruckskraft und Effizienz in neuronalen Netzen

Neuer Forschungsschwerpunkt: Neuronale Netze, die mit lernbaren, niedriggradigen rationalen Aktivierungsfunktionen arbeiten, zeigen deutlich höhere Ausdruckskraft und Parameter‑Effizienz als die heute üblichen linearen und glatten Aktivierungen wie ReLU, ELU, Sigmoid oder Tanh.

Die Studie beweist, dass ein Netzwerk mit rationalen Aktivierungen für ein gewünschtes Fehlerziel ε eine gleichmäßige Approximation beliebiger Netzwerke mit festen Aktivierungen erreichen kann – und das mit nur poly(log log(1/ε)) zusätzlichem Speicherbedarf. Im Gegensatz dazu benötigen klassische Netzwerke mindestens Ω(log(1/ε)) Parameter, um dieselbe Genauigkeit zu erzielen. Dieser exponentielle Unterschied bleibt auch bei kompletten Netzwerken bestehen und gilt gleichermaßen für gated‑Aktivierungen und transformer‑ähnliche Nichtlinearitäten.

In der Praxis lassen sich rationale Aktivierungen nahtlos in bestehende Architekturen und Trainingspipelines einbinden. Unter identischen Netzwerkarchitekturen und Optimierern erreichen sie die gleiche oder sogar bessere Leistung als die herkömmlichen Aktivierungsfunktionen, ohne zusätzliche Komplexität einzuführen.