Neues Quantitatives Approximationstheorem für gruppeninvariante Lernmodelle

Die Universal Approximation Theorem besagt, dass neuronale Netze beliebige stetige Funktionen auf kompakten Mengen approximieren können. In den letzten Jahren haben sich daraus quantitative Approximationsergebnisse für ReLU-Netze entwickelt, insbesondere für die Klasse der α‑Hölder‑Funktionen.

In der vorliegenden Arbeit wird dieses Ergebnis auf das Gebiet des gruppeninvarianten Lernens übertragen. Dort müssen die zu approximierenden Funktionen bestimmte Gruppensymmetrien erfüllen. Bislang gibt es nur wenige quantitative Resultate für solche Modelle.

Die Autoren ermitteln nun Approximationsraten für mehrere prominente architektonische Varianten: die permutation‑invariante Deep‑Sets‑Architektur, die permutation‑equivarianten Sumformer‑ und Transformer‑Modelle, Netzwerke, die gleichzeitig Permutationen und Rigidbewegungen invariieren, sowie allgemeine bi‑Lipschitz‑invariante Modelle. Sie zeigen, dass gleich große ReLU‑MLPs und gruppeninvariante Architekturen gleichermaßen ausdrucksstark sind, wenn es um die Approximation von gruppeninvarianten Funktionen geht.

Das Ergebnis bedeutet, dass die explizite Einbettung von Symmetrie in ein Modell keinen Verlust an Ausdruckskraft oder Approximationstiefe verursacht – ein wichtiger Schritt für die Entwicklung effizienterer, symmetrieorientierter Lernalgorithmen.