Sparse Autoencoders: erste 3D‑Anwendung zur Feature‑Decomposition
Forscher haben Sparse Autoencoders (SAEs) erstmals auf 3D‑Modelle angewendet und damit einen wichtigen Schritt in der Analyse von 3D‑Rekonstruktionsmodellen erreicht. SAEs, die bisher vor allem im Textbereich eingesetzt wurden, ermöglichen es, neuronale Netzwerkaktivierungen in diskrete, semantisch wertvolle Features zu zerlegen, ohne dass externe Anleitung nötig ist.
In einer Studie mit 53.000 3D‑Objekten aus dem Objaverse‑Datensatz zeigte ein hochmodernes VAE‑Modell, dass die Netzwerkfeatures nicht kontinuierlich, sondern diskret sind. Diese Entdeckung legt nahe, dass das Modell ein diskretes Zustandsraum‑Konzept nutzt, das durch phasenähnliche Übergänge in den Feature‑Aktivierungen gesteuert wird. Durch diese Sichtweise konnten drei zuvor schwer zu erklärende Phänomene – die Neigung zu positionsbasierten Encodings, die sigmoide Abnahme der Rekonstruktionsverluste bei Feature‑Ablation und die bimodale Verteilung der PhasenÜbergangspunkte – systematisch interpretiert werden.
Die Ergebnisse deuten darauf hin, dass das Modell die Interferenzen, die durch die Überlagerung von Features entstehen, neu verteilt, um die Relevanz einzelner Features hervorzuheben. Der zugehörige Code sowie die kodierten 3D‑Objekte werden im Rahmen der Veröffentlichung zur Verfügung gestellt, sodass andere Forscher die Methode weiterentwickeln und auf neue Anwendungsbereiche übertragen können.