Neues Verfahren garantiert stabile Mechanismen in neuronalen Netzen

Verstehen, wie neuronale Netzwerke ihre Vorhersagen treffen, ist entscheidend für Debugging, Auditing und den Einsatz in der Praxis. Die mechanistische Interpretierbarkeit verfolgt dieses Ziel, indem sie minimale Teilnetzwerke – sogenannte „Circuits“ – identifiziert, die für bestimmte Verhaltensweisen verantwortlich sind.

Aktuelle Methoden zur Circuit-Entdeckung zeigen jedoch Schwächen: Sie sind stark von der gewählten Konzeptdatenmenge abhängig und verlieren häufig ihre Aussagekraft, wenn sie auf Daten außerhalb des Trainingsbereichs angewendet werden. Das wirft die Frage auf, ob die gefundenen Circuits wirklich das Konzept erfassen oder lediglich artefaktbezogene Muster aus dem Datensatz replizieren.

Mit „Certified Circuits“ wird dieses Problem adressiert. Das neue Framework umgibt jeden Black‑Box-Entdeckungsalgorithmus mit zufälliger Datenunterteilung und zertifiziert, dass die Einschlussentscheidungen der Circuit-Komponenten gegen begrenzte Editierabstände im Konzeptdatensatz robust bleiben. Neuronale Einheiten, die instabil sind, werden ausgeschlossen, wodurch die resultierenden Circuits kompakter und genauer werden.

In Experimenten auf ImageNet und Out‑of‑Distribution‑Datensätzen erzielen Certified Circuits bis zu 91 % höhere Genauigkeit bei gleichzeitig 45 % weniger Neuronen. Sie bleiben zuverlässig, wo herkömmliche Baselines versagen, und legen damit mechanistische Erklärungen auf ein formales Fundament. Der zugehörige Code wird in Kürze veröffentlicht.