Mehr Vielfalt, weniger Redundanz: Multi-Expert Sparse Autoencoder für LLMs
Sparse Autoencoder (SAEs) haben sich als leistungsstarkes Werkzeug etabliert, um große Sprachmodelle (LLMs) zu entschlüsseln. Sie zerlegen die Token‑Aktivierungen in Kombinationen von leicht verständlichen Merkmalen, wodurch die Funktionsweise der Modelle transparent wird.
