Komplexität vs. Treue bei Gradienten‑basierten Erklärungen

Eine neue Studie aus dem arXiv‑Repository untersucht den Spannungsbogen zwischen Komplexität und Treue bei Erklärungen, die auf Gradienten von ReLU‑Netzwerken beruhen. ReLU‑Modelle sind zwar weit verbreitet, doch ihre scharfen Übergänge und die gelegentliche Abhängigkeit von einzelnen Pixeln führen zu stark verrauschten, schwer interpretierbaren Erklärungen.

Aktuelle Verfahren wie GradCAM glätten diese Erklärungen, indem sie Surrogatmodelle erzeugen. Dieser Ansatz reduziert die Rauscheffekte, geht jedoch häufig an der Treue der Erklärung ein. Die Autoren stellen ein einheitliches spektrales Rahmenwerk vor, das die Glattheit, die Treue und den damit verbundenen Kompromiss systematisch analysiert und quantifiziert.

Durch die gezielte Regulierung der Hochfrequenzanteile in ReLU‑Netzwerken ermöglicht das neue Framework, die Beitragshöhe dieser Frequenzen zu steuern. Damit lässt sich der Kompromiss zwischen einer klaren, glatten Darstellung und der Wahrung der ursprünglichen Modellentscheidungen präzise bestimmen.

Die Analyse zeigt, wie surrogatbasierte Glättung die ursprünglichen Erklärungen verzerrt und führt zu einem formal definierten „Erklärungsabstand“. Dieser Abstand wird für verschiedene Nach‑Analyse‑Methoden gemessen und liefert ein klares Bild der Verzerrungsgrade.

Die theoretischen Erkenntnisse wurden auf unterschiedlichen Designentscheidungen, Datensätzen und Ablationsstudien überprüft. Die Ergebnisse bestätigen die Wirksamkeit des Rahmenwerks und demonstrieren, dass die Balance zwischen Glattheit und Treue gezielt gesteuert werden kann.

Zusammenfassend bietet das neue spektrale Framework ein principlesches Werkzeug, um die Qualität von Gradienten‑basierten Erklärungen zu optimieren und damit die Interpretierbarkeit von ReLU‑Netzwerken signifikant zu verbessern.