MIDAS: Patchbasierte, input‑spezifische Architektursuche

Neuer Ansatz MIDAS bringt Differentiable Neural Architecture Search (NAS) auf ein neues Level: Statt statischer Architekturparameter nutzt MIDAS dynamische, input‑spezifische Werte, die über Selbst‑Attention berechnet werden. Dadurch kann das Netzwerk seine Struktur exakt an die jeweilige Eingabe anpassen und wird damit deutlich flexibler und leistungsfähiger.

Ein zentrales Merkmal von MIDAS ist die patchweise Lokalisierung der Architekturwahl. Für jedes räumliche Patch des Aktivierungs‑Maps wird separat entschieden, welche Operationen eingesetzt werden. Zusätzlich wird ein parameterfreier, topologie‑bewusster Suchraum eingeführt, der die Knotenverbindungen modelliert und die Auswahl der beiden eingehenden Kanten pro Knoten vereinfacht.

Die Ergebnisse sprechen für sich: In der DARTS‑Umgebung erzielt MIDAS 97,42 % Top‑1‑Genauigkeit auf CIFAR‑10 und 83,38 % auf CIFAR‑100. Im NAS‑Bench‑201‑Space findet es konsequent die global optimalen Architekturen. Auf RDARTS setzt es den Stand der Technik in zwei von vier Suchräumen auf CIFAR‑10.

Eine eingehende Analyse zeigt, dass die patchweise Attention die Unterscheidung zwischen Kandidatenoperationen verbessert. Die daraus resultierenden, input‑spezifischen Parameterverteilungen sind stark klassen‑sensitiv und überwiegend unimodal, was eine zuverlässige Dekodierung der optimalen Architektur ermöglicht.