Erklärungsbasierte Regularisierung verbessert Early-Exit-Netzwerke

Neues Forschungsergebnis aus dem Bereich der künstlichen Intelligenz zeigt, wie Early-Exit-Neuronale Netzwerke durch gezielte Aufmerksamkeitssynchronisation sowohl schneller als auch nachvollziehbarer werden können. Durch die Einführung einer Attention‑Consistency‑Loss wird die Aufmerksamkeit der frühen Ausstiegspunkte an die finale Ausgabe angepasst, wodurch die Modelle konsistentere und verständlichere Erklärungen liefern.

Der Ansatz, der als Explanation‑Guided Training (EGT) bezeichnet wird, kombiniert die Optimierung der Klassifikationsgenauigkeit mit der Angleichung der Aufmerksamkeitskarten. Auf diese Weise bleibt die Gesamtleistung unverändert – bis zu 98,97 % Genauigkeit – während die Inferenzzeit um das 1,97‑fache reduziert wird. Gleichzeitig steigt die Übereinstimmung der Aufmerksamkeit um bis zu 18,5 % im Vergleich zu herkömmlichen Basismodellen.

Die Experimente wurden an einem realen Bildklassifikationsdatensatz durchgeführt und demonstrieren, dass EGT die Interpretierbarkeit über alle Ausstiegspunkte hinweg verbessert. Dies macht Early‑Exit‑Netzwerke besonders attraktiv für Anwendungen, bei denen sowohl Rechenressourcen als auch Erklärbarkeit entscheidend sind, etwa in mobilen Geräten oder eingebetteten Systemen.