SEval-NAS: Neue, suchagnostische Bewertung für neuronale Architektursuche
Neurale Architektursuche (NAS) automatisiert die Entdeckung von Netzwerken, die vorgegebene Kriterien erfüllen. In der Praxis sind die Evaluationsverfahren jedoch häufig fest codiert, was die Einführung neuer Metriken e…
- Neurale Architektursuche (NAS) automatisiert die Entdeckung von Netzwerken, die vorgegebene Kriterien erfüllen.
- In der Praxis sind die Evaluationsverfahren jedoch häufig fest codiert, was die Einführung neuer Metriken erschwert.
- Besonders bei hardware‑sensiblen NAS‑Aufgaben, bei denen die Ziele von Zielgeräten wie Edge‑Hardware abhängen, ist diese Einschränkung problematisch.
Neurale Architektursuche (NAS) automatisiert die Entdeckung von Netzwerken, die vorgegebene Kriterien erfüllen. In der Praxis sind die Evaluationsverfahren jedoch häufig fest codiert, was die Einführung neuer Metriken erschwert. Besonders bei hardware‑sensiblen NAS‑Aufgaben, bei denen die Ziele von Zielgeräten wie Edge‑Hardware abhängen, ist diese Einschränkung problematisch.
Um dieses Problem zu lösen, stellt SEval‑NAS ein neues Bewertungsmechanismus vor. Dabei werden Architekturen in Strings umgewandelt, als Vektoren eingebettet und anschließend Leistungsmetriken vorhergesagt. Auf den Benchmarks NATS‑Bench und HW‑NAS‑Bench wurden Genauigkeit, Latenz und Speicherverbrauch getestet.
Die Kendall‑τ‑Korrelationen zeigen, dass SEval‑NAS besonders gute Vorhersagen für Latenz und Speicher liefert, während die Genauigkeitsvorhersage etwas schwächer ausfällt. Dies unterstreicht die Eignung von SEval‑NAS als Hardware‑Kosten‑Predictor.
Darüber hinaus wurde SEval‑NAS in das Tool FreeREA integriert, um zusätzliche Metriken zu bewerten, die ursprünglich nicht enthalten waren. Die Methode konnte die von FreeREA generierten Architekturen erfolgreich ranken, ohne die Suchzeit zu erhöhen, und erforderte nur minimale algorithmische Änderungen.
Die komplette Implementierung ist auf GitHub verfügbar: https://github.com/Analytics-Everywhere-Lab/neural-architecture-search.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.