ReLU‑Netzwerke vollständig identifizierbar dank mehrwertiger Logik

In einer bahnbrechenden Arbeit wird gezeigt, dass tiefe ReLU‑Netzwerke nicht nur komplexe Funktionen berechnen, sondern auch zahlreiche funktionale Symmetrien besitzen. Das bedeutet: völlig unterschiedliche Architekturen und Gewichtsmatrizen können exakt dieselbe Funktion darstellen.

Die Autoren lösen das bislang offene Problem der vollständigen Identifikation: Für eine gegebene Funktion f bestimmen sie sämtliche Feed‑Forward‑ReLU‑Netzwerke, die f erzeugen. Dazu wandeln sie ReLU‑Netzwerke in Formeln der Lukasiewicz‑Logik um und führen algebraische Umformungen durch, die von den Logikaxiomen geleitet werden. Diese Rewrites ermöglichen es, Netzwerke zu transformieren, ohne die zugrunde liegende Funktion zu verändern.

Ein zentrales Element ist die vorgeschlagene kompositorische Normalform, die die Rückübersetzung von Lukasiewicz‑Formeln in ReLU‑Netzwerke erleichtert. Mit Hilfe von Chang’s Vollständigkeitssatz wird bewiesen, dass jede funktionale Äquivalenzklasse von ReLU‑Netzwerken durch endlich viele Symmetrien verbunden ist – genau die Menge der Axiome der Lukasiewicz‑Logik. Das Ergebnis erinnert an Shannons klassische Arbeit zur Schaltkreissynthese, bei der Boolesche Formeln und deren algebraische Umformungen zur Optimierung von Schaltungen dienten.