Brownian ReLU: Neue Aktivierungsfunktion verbessert LSTM bei Finanzdaten

In der Welt des Deep Learning stoßen herkömmliche Aktivierungsfunktionen wie ReLU, LeakyReLU und PReLU häufig auf Gradientinstabilitäten, wenn sie auf verrauschte, nicht stationäre Finanzzeitreihen angewendet werden. Eine neue Methode, die Brownian ReLU (Br-ReLU), nutzt die Eigenschaften der Brownschen Bewegung, um diese Probleme zu überwinden.

Die Brownian ReLU ist eine stochastische Aktivierungsfunktion, die bei negativen Eingaben eine sanfte, adaptive Reaktion liefert. Dadurch wird das „dying ReLU“-Phänomen reduziert und die Gradientpropagation in Long Short-Term Memory (LSTM)-Netzwerken verbessert. Durch Monte-Carlo-Simulationen wurde gezeigt, dass die Funktion stabile Lernschritte ermöglicht, selbst bei stark verrauschten Daten.

Die Wirksamkeit der Brownian ReLU wurde an realen Finanzzeitreihen getestet – darunter Aktienkurse von Apple, GCB und dem S&P 500 – sowie an Klassifikationsaufgaben mit LendingClub‑Darlehensdaten. Die Ergebnisse zeigten konsequent niedrigere mittlere quadratische Fehler (MSE) und höhere R²‑Werte, was auf eine verbesserte Vorhersagegenauigkeit und bessere Generalisierung hinweist.

Obwohl die ROC‑AUC-Metrik bei Klassifikationsaufgaben begrenzt ist, verdeutlicht die Studie, dass die Wahl der Aktivierungsfunktion einen wesentlichen Einfluss auf das Gleichgewicht zwischen Genauigkeit und Sensitivität hat. Brownian ReLU liefert dabei praktisch signifikante Leistungssteigerungen, die für die Finanzmodellierung von großem Nutzen sind.