SCALAR: Benchmark für Interaktionssparsamkeit von SAE in kleinen LLMs

Mechanistische Interpretierbarkeit zielt darauf ab, neuronale Netze in verständliche Bausteine zu zerlegen und die Verbindungen zwischen ihnen zu kartieren. Der gängige Ansatz trainiert für jede Schicht einen sparsamen Autoencoder (SAE), doch wenn diese Autoencoder isoliert trainiert werden, entstehen oft übermäßig dichte Verbindungen zwischen aufeinanderfolgenden Schichten. Dadurch wirken sich einzelne Merkmale unnötig auf viele nachfolgende Merkmale aus, was die Klarheit der extrahierten Schaltkreise stark beeinträchtigt.

Derzeit konzentrieren sich die Bewertungen ausschließlich auf die Leistung einzelner SAEs, während die Sparsamkeit der Interaktionen zwischen den Merkmalen weitgehend unberücksichtigt bleibt. Um dieses Problem anzugehen, stellen die Autoren das neue Benchmark-Tool SCALAR (Sparse Connectivity Assessment of Latent Activation Relationships) vor, das die Interaktionssparsamkeit zwischen SAE‑Features systematisch misst.

Ein weiteres Highlight der Arbeit ist die Einführung von „Staircase SAEs“, die durch Gewichtsteilung die Wiederholung von Merkmalen über mehrere Schichten hinweg begrenzen. Diese Architektur zielt darauf ab, die Anzahl der unnötigen Verbindungen zu reduzieren und gleichzeitig die Interpretierbarkeit der Merkmale zu erhalten.

In umfangreichen Vergleichen mit TopK‑SAEs, Jacobian‑SAEs (JSAEs) und den neuen Staircase SAEs zeigte sich, dass die Staircase‑Modelle die relative Sparsamkeit gegenüber TopK um beeindruckende 59,67 % ± 1,83 % bei Feed‑Forward‑Schichten und 63,15 % ± 1,35 % bei Transformer‑Blöcken steigern. JSAEs verbesserten die Sparsamkeit bei Feed‑Forward‑Schichten um 8,54 % ± 0,38 %, konnten jedoch nicht effektiv über Transformer‑Blöcke hinweg trainiert werden, während sowohl Staircase als auch TopK‑SAEs überall im Residual‑Stream einsetzbar sind.

Die Autoren validierten ihre Ansätze an einem 216 k‑Parameter‑Modell sowie an GPT‑2 Small (124 M). In beiden Fällen bewahrten die Staircase‑SAEs die Verbesserungen der Interaktionssparsamkeit, ohne die Interpretierbarkeit der Merkmale zu beeinträchtigen.

Diese Studie unterstreicht die entscheidende Rolle der Interaktionssparsamkeit bei sparsamen Autoencodern und liefert ein robustes Benchmarking-Framework, um zukünftige Architekturen gezielt zu vergleichen und weiterzuentwickeln.