RevoNAD: KI-gestützte Evolution für neuronale Architekturen

RevoNAD ist ein neuartiges System, das die Kraft großer Sprachmodelle (LLMs) mit evolutionären Suchstrategien kombiniert, um neuronale Architekturen zu entwerfen, die nicht mehr auf vorgegebenen Suchräumen beschränkt sind.

Der Einsatz von LLMs in der Architekturentwicklung stößt häufig an Grenzen: die tokenbasierte Designschleife ist diskret und nicht differenzierbar, wodurch ein flüssiger Feedback‑Loop fehlt. Dadurch neigen bestehende Methoden zu Modenkollaps, wiederholenden Strukturen oder zu unpraktischen Designs, wenn die rationale Basis nicht ausreichend fundiert ist.

RevoNAD löst diese Probleme mit drei Kernkomponenten: Erstens ein Multi‑Round Multi‑Expert Consensus, der isolierte Designregeln in sinnvolle architektonische Hinweise überführt. Zweitens eine Adaptive Reflective Exploration, die den Grad der Exploration anhand der Variabilität der Belohnungen steuert – bei unsicherem Feedback wird exploriert, bei stabilen Ergebnissen wird verfeinert. Drittens eine Pareto‑gesteuerte Evolutionäre Selektion, die Architekturen fördert, die gleichzeitig Genauigkeit, Effizienz, Latenz, Zuverlässigkeit und strukturelle Vielfalt optimieren.

In umfangreichen Tests auf CIFAR10, CIFAR100, ImageNet16‑120, COCO‑5K und Cityscape erzielt RevoNAD bisher die besten Ergebnisse. Ablations- und Transferstudien belegen zusätzlich die Robustheit und die praktische Einsatzfähigkeit des Ansatzes.

RevoNAD demonstriert, dass eine reflektierende, evolutionäre Steuerung in Kombination mit LLM‑Reasoning die Entwicklung von neuralen Architekturen auf ein neues Niveau hebt und echte, einsatzbereite Modelle ermöglicht.