Neuralnetze mit zwei Schichten: Geometrische Trennung & universelle Approximation

Ein neues arXiv‑Veröffentlichung (2602.12482v1) präsentiert eine elegante geometrische Konstruktion von neuronalen Netzen, die disjunkte kompakte Teilmengen von ℝⁿ exakt trennen können. Diese Konstruktion bildet die Grundlage für einen konstruktiven Beweis des universellen Approximationstheorems.

Der Beitrag zeigt, dass Netzwerke mit nur zwei versteckten Schichten – egal ob mit einer sigmoidal (streng monotonen, beschränkten, stetigen) Aktivierungsfunktion oder mit ReLU – jede reellwertige, stetige Funktion auf beliebig gewählter kompakter Menge K⊂ℝⁿ beliebig genau im supremum‑Norm approximieren können. Für endliche Mengen K vereinfacht sich die Methode und liefert sogar ein scharfes Ergebnis für Netzwerke mit einer einzigen versteckten Schicht.

Diese Ergebnisse unterstreichen die Kraft und Effizienz von tiefen, aber kompakt strukturierten Netzen und liefern gleichzeitig ein praktisches Werkzeug für die Konstruktion von Approximationen in der Praxis. Der Ansatz eröffnet neue Perspektiven für die Analyse und das Design von neuronalen Architekturen in der Funktionalanalysis und maschinellen Lernforschung.