Hardware‑Aware NAS: Early‑Exit‑Netze höherer Genauigkeit und weniger Rechenaufwand

Early‑Exit‑Netze passen die Rechenmenge dynamisch an die Komplexität einzelner Eingaben an. Dadurch sinkt die Gesamtenergie und die Latenz, was besonders für Geräte mit begrenzten Ressourcen von entscheidender Bedeutung ist.

Die Konzeption solcher Netze ist jedoch aufwendig, weil Effizienz und Leistung sorgfältig abgewogen werden müssen. Neural Architecture Search (NAS) hat sich als effektives Werkzeug erwiesen, um die optimale Platzierung und Anzahl von Exit‑Branches zu bestimmen und damit die durchschnittliche Latenz zu reduzieren, ohne die Genauigkeit zu opfern.

In der vorliegenden Arbeit wird ein hardware‑bewusster NAS‑Ansatz vorgestellt, der die Exit‑Branches gezielt stärkt. Dabei werden sowohl die Tiefe als auch die Typen der Schichten in den Branches berücksichtigt und adaptive Schwellenwerte eingesetzt, um Genauigkeit und Effizienz gleichzeitig zu optimieren.

Die Evaluation auf den Datensätzen CIFAR‑10, CIFAR‑100 und SVHN zeigt, dass das neue Framework Early‑Exit‑Netze erzeugt, die bei gleicher oder geringerer durchschnittlicher MAC‑Zahl eine höhere Genauigkeit erreichen als aktuelle State‑of‑the‑Art‑Methoden.