Median lässt sich mit flacher ReLU-Netzwerk exakt approximieren

Eine neue Studie zeigt, dass der Median von d Eingaben mit einem ReLU‑Neuronalen Netzwerk mit konstanter Tiefe und linearem Breitenmaß exakt approximiert werden kann. Durch eine mehrstufige Eliminationsstrategie werden sukzessive nicht‑zentralen Elemente entfernt, während ein Kandidaten‑Set um den Median erhalten bleibt. Das Ergebnis liefert einen exponentiell kleinen Approximationfehler für die gleichverteilte Zufallsvariable im Einheitswürfel.

Besonders bemerkenswert ist die allgemeine Reduktion von der Maximum‑Funktion auf den Median. Damit wird ein bisher vorgeschlagener Engpass überwunden, der besagte, dass bei linearer Breite die Tiefe mindestens um den Faktor log log d wachsen müsse, um vergleichbare Genauigkeit zu erreichen. Die neue Konstruktion demonstriert, dass diese Annahme falsch ist und liefert damit stärkere Approximationsergebnisse als bisher für die Maximum‑Funktion bekannt.

Die Arbeit liefert damit einen wichtigen Fortschritt in der Theorie der neuronalen Netzwerke und eröffnet neue Perspektiven für die effiziente Approximation von statistischen Quantilen in hochdimensionalen Räumen.