Covariance Scattering Transforms: Stabile, untrainierte Netzwerke

In der Datenanalyse spielen Verfahren, die auf Kovarianzinformationen basieren, eine zentrale Rolle – von der klassischen Hauptkomponentenanalyse (PCA) bis hin zu modernen graphbasierten Netzwerken. PCA projiziert Daten auf die Eigenvektoren ihrer Kovarianzmatrix und erfasst so die Richtungen mit größter Varianz. Dabei bleiben jedoch wichtige Muster in niedrigen Varianzrichtungen verborgen, und die Methode wird bei kleinen Stichproben sowie bei fast gleichen Eigenwerten instabil.

Graphneuronale Netzwerke, die die Kovarianzmatrix als Graph nutzen, zeigen zwar eine höhere Robustheit gegenüber Schätzfehlern und können komplexere Funktionen im Kovarianzspektrum lernen, erfordern jedoch ein Training und ein gelabeltes Setup. Damit fehlt ihnen die Flexibilität, die in vielen unüberwachten Szenarien gefragt ist.

Die neu vorgestellten Covariance Scattering Transforms (CSTs) kombinieren die Vorteile beider Ansätze. CSTs sind tiefgehende, untrainierte Netzwerke, die sukzessive Filter anwenden, die im Kovarianzspektrum lokalisiert sind. Diese Filter – Kovarianz-Wellenlet – erfassen spezifische, detaillierte Muster und erzeugen hierarchische Repräsentationen durch nichtlineare Aktivierungen. Durch ein gezieltes Pruning werden Rechen- und Speicheraufwand reduziert, während die Fehleranfälligkeit gegenüber Schätzungen der Kovarianzmatrix deutlich geringer bleibt als bei PCA.

Experimentelle Ergebnisse zeigen, dass CSTs in unüberwachten und unlabeled Settings stabile, aussagekräftige Darstellungen liefern und dabei die Leistungsfähigkeit von PCA übertreffen. Damit eröffnen sie neue Möglichkeiten für robuste, datenintensive Anwendungen ohne die Notwendigkeit von Training oder Labels.