Neuro-Symbolische Aktivierung: Physik-Formeln für Ökologie-Netze

Moderne neuronale Netze setzen häufig generische Aktivierungsfunktionen wie ReLU, GELU oder SiLU ein, die die mathematische Struktur wissenschaftlicher Daten vernachlässigen. In der neuen Studie „Neuro-Symbolische Aktivierungsentdeckung“ wird ein innovatives Verfahren vorgestellt, das genetische Programmierung nutzt, um aus Rohdaten interpretierbare mathematische Formeln zu extrahieren und diese als maßgeschneiderte Aktivierungsfunktionen in neuronale Netze einzufügen.

Ein zentrales Ergebnis ist das sogenannte Geometric Transfer‑Phänomen: Aktivierungsfunktionen, die aus Teilchenphysik‑Datensätzen gelernt wurden, übertragen sich erfolgreich auf ökologische Klassifikationsaufgaben. Auf dem Forest Cover Dataset erzielt das Hybrid‑Transfer‑Modell eine Genauigkeit von 82,4 % bei lediglich 5 825 Parametern – im Vergleich zu 83,4 % bei 31 801 Parametern in einem herkömmlichen, schwereren Netzwerk. Das entspricht einer Reduktion der Parameterzahl um das 5,5‑fache bei nur einem Prozent Genauigkeitsverlust.

Zur Bewertung der Effizienz wurde ein Parameter‑Efficiency‑Score eingeführt, der die AUC durch den Logarithmus der Parameterzahl normalisiert. Die leichtgewichtigen Hybrid‑Architekturen erreichen dabei 18‑21 % höhere Effizienzwerte als stark überparametrierte Baselines. Die Studie legt zudem klare Grenzen auf: Während der Transfer von Physik zu Ökologie funktioniert, scheitert ein Transfer von Physik zu Text, da diskrete Wortfrequenzen andere mathematische Strukturen erfordern.

Diese Arbeit eröffnet neue Perspektiven für die Entwicklung domänenspezifischer Aktivierungsbibliotheken, die sowohl die Genauigkeit als auch die Parameter‑Effizienz in wissenschaftlichen Machine‑Learning‑Anwendungen erheblich verbessern können.