KI News: Kurz und klar.

Moderne neuronale Netze setzen häufig generische Aktivierungsfunktionen wie ReLU, GELU oder SiLU ein, die die mathematische Struktur wissenschaftlicher Daten vernachlässigen. In der neuen Studie „Neuro-Symbolische Aktivierungsentdeckung“ wird ein innovatives Verfahren vorgestellt, das genetische Programmierung nutzt, um aus Rohdaten interpretierbare mathematische Formeln zu extrahieren und diese als maßgeschneiderte Aktivierungsfunktionen in neuronale Netze einzufügen.

In der physik‑informierten KI werden neuronale Netze mithilfe von gewöhnlichen und partiellen Differentialgleichungen trainiert, um Lösungsspektren zu approximieren. Dabei spielt die Wahl der Aktivierungsfunktion eine entscheidende Rolle für die Qualität und Stabilität des Lernprozesses.

Aktivierungsfunktionen sind das Herzstück von Deep‑Learning‑Modellen, denn sie ermöglichen nichtlineare Darstellungen. Die weit verbreitete ReLU (Rectified Linear Unit) hat jedoch ein bekanntes Problem: Neuronen, die dauerhaft negative Eingaben erhalten, werden zu „toten“ Neuronen und blockieren den Gradientenfluss. Um dieses Problem zu lösen, wurde N‑ReLU (Noise‑ReLU) entwickelt – eine stochastische Variante, die negative Aktivierungen durch zentrierte Gauß‑Rauschen ersetzt, ohne den Erwartungswert der Ausgabe zu verändern.