Ordnung schafft Konsistenz: Neue Sparse Autoencoder lösen Feature‑Unsicherheit
In der Forschung zu sparsamen Autoencodern (SAEs) ist die Interpretierbarkeit von neuronalen Netzwerken ein zentrales Thema. Ein häufiges Problem ist jedoch, dass die erlernten Features stark von Zufallsinitialisierungen und Hyperparametern abhängen. Um diesem Problem entgegenzuwirken, stellen die Autoren des neuen Papers Ordered Sparse Autoencoders (OSAE) vor, die die bisherige Matryoshka‑SAE‑Architektur um zwei entscheidende Verbesserungen erweitern.
