Poisson‑Hyperflächenprozesse revolutionieren ReLU‑Netzwerke
Neural‑Netzwerke haben in den letzten Jahren bahnbrechende Erfolge in Klassifikations‑ und Regressionsaufgaben erzielt. Besonders die Rectified‑Linear‑Unit (ReLU) wird häufig als Aktivierungsfunktion in den versteckten Schichten eingesetzt. In einer neuen Studie wird nun gezeigt, dass Poisson‑Hyperflächenprozesse (PHP) mit einer Gauß‑Priorität eine völlig alternative probabilistische Darstellung zweischichtiger ReLU‑Netzwerke bieten.
Die Autoren demonstrieren, dass ein PHP‑basiertes Modell nicht nur die gleiche Funktionalität wie ein klassisches ReLU‑Netzwerk besitzt, sondern darüber hinaus dank spezieller Zerlegungspropositionen auch für große Datensätze skalierbar ist. Zur Bayesschen Inferenz wird ein annealierter sequentieller Monte‑Carlo‑Algorithmus vorgeschlagen, der die Modellparameter effizient schätzt.
Numerische Experimente belegen, dass das PHP‑ReLU‑Modell die Leistung herkömmlicher zweischichtiger ReLU‑Netzwerke übertrifft. Der komplette Code ist als Open‑Source‑Projekt auf GitHub verfügbar: https://github.com/ShufeiGe/Pois_Relu.git.