Neue Theorie beleuchtet Sparse Dictionary Learning in KI-Interpretierbarkeit
Mit der rasanten Leistungssteigerung von KI-Modellen wächst die Notwendigkeit, zu verstehen, welche Repräsentationen sie lernen und wie sie Informationen verarbeiten. Die mechanistische Interpretierbarkeit hat gezeigt, dass neuronale Netze bedeutende Konzepte als Richtungen in ihren Repräsentationsräumen kodieren und häufig mehrere Konzepte gleichzeitig in einer Superposition abbilden.
Zur Auflösung dieser Superpositionen kommen verschiedene Sparse Dictionary Learning‑Methoden (SDL) zum Einsatz – von sparsamen Autoencodern über Transcodern bis hin zu Crosscodern. Diese Ansätze trainieren Hilfsmodelle mit Strengungsbedingungen, um die überlappenden Konzepte in interpretierbare Features zu entwirren. Obwohl sie empirisch beeindruckende Ergebnisse liefern, fehlt bislang ein umfassendes theoretisches Fundament.
Derzeit beschränkt sich die theoretische Analyse auf sparsamen Autoencoder mit verknüpften Gewichten, sodass die breite Familie der SDL‑Methoden ohne formale Grundlage bleibt. In der vorliegenden Arbeit wird das erste einheitliche theoretische Rahmenwerk vorgestellt, das SDL als ein gemeinsames Optimierungsproblem betrachtet. Das Modell zeigt, wie die unterschiedlichen Verfahren in dieses Gerüst passen und liefert eine rigorose Analyse des Optimierungslandschafts.
Durch die Theorie werden bislang beobachtete Phänomene wie Feature‑Absorption, tote Neuronen und die Neuron‑Resampling‑Technik erstmals mathematisch erklärt. Ergänzend wurden kontrollierte Experimente entwickelt, die die theoretischen Vorhersagen bestätigen. Diese Fortschritte legen den Grundstein für ein tieferes Verständnis der Mechanismen hinter Sparse Dictionary Learning und stärken die Vertrauenswürdigkeit von KI‑Systemen.