Quasi-arithmetische neuronale Netzwerke verbessern Set‑Funktion‑Approximation

In der Welt der Datenanalyse sind Mengen (Sets) ein zentrales Konzept, das in vielen Bereichen von Bild- bis Textdaten vorkommt. Traditionelle Modelle wie DeepSets oder PointNet greifen dabei auf feste, nicht lernbare Pooling‑Operationen wie Summe oder Maximum zurück. Diese Vorgehensweise beschränkt jedoch die Übertragbarkeit der erlernten Einbettungen und limitiert die Ausdruckskraft der Modelle.

Die neue Arbeit führt das Konzept des Neuralized Kolmogorov Mean (NKM) ein – ein vollständig lernbares Verfahren, das eine allgemeine Messgröße für die zentrale Tendenz mittels einer invertierbaren neuronalen Funktion ermittelt. Durch die Integration des NKM in die Architektur entstehen quasi‑arithmetische neuronale Netzwerke (QUANNs), die die Aggregation innerhalb von Mengen als lernbaren Prozess behandeln.

Eine theoretische Analyse zeigt, dass QUANNs als universelle Approximationen für eine breite Klasse von Set‑Funktionszerlegungen fungieren. Dank ihrer invertierbaren Komponenten lernen sie zudem strukturierte latente Repräsentationen, die besser interpretiert und weiterverwendet werden können.

In umfangreichen Experimenten über verschiedene Benchmarks hinweg übertreffen QUANNs die aktuellen Spitzenmodelle. Dabei liefern sie nicht nur präzisere Vorhersagen für Set‑basierte Aufgaben, sondern erzeugen auch Einbettungen, die sich erfolgreich auf Aufgaben übertragen lassen, die keine Mengenstruktur besitzen.

Diese Fortschritte markieren einen bedeutenden Schritt in der Verarbeitung von Mengen‑Daten und eröffnen neue Möglichkeiten für die Entwicklung von Modellen, die sowohl flexibel als auch leistungsfähig sind.