<p>PCA-Whitening verbessert Sparse Autoencoder: Mehr Interpretierbarkeit</p> <p>Neuer Forschungsbericht aus dem arXiv-Repository zeigt, dass die Anwendung von PCA‑Whitening auf die Eingabeaktivierungen Sparse Autoencoders (SAEs) deutlich leistungsfähiger macht. Durch die Entkoppelung der Eingabedaten wird das Optimierungsfeld flacher und konvexer, was die Lernschritte beschleunigt und die Konvergenz stabiler gestaltet. Die Autoren haben sowohl ReLU‑ als auch Top‑K‑SAEs in einer Vielzahl von Architekturen, B

arXiv – cs.LG Original
Anzeige