LLM-Agenten entdecken echte Architektur-Optimierung statt Hyperparameter‑Tuning

In einer wegweisenden Studie haben zwei große Sprachmodelle – Claude Opus und Gemini 2.5 Pro – 10 469 autonome Experimente zur Kollisionsdetektion mit Dashcams durchgeführt. Dabei wurden 108 000 diskrete Konfigurationen über 27 Tage hinweg getestet, um zu klären, ob die Agenten wirklich neue Architekturen erforschen oder lediglich Hyperparameter in einem engen Bereich anpassen.

Die Analyse mittels ANOVA zeigt, dass architektonische Entscheidungen 94 % der Leistungsvarianz erklären, während die Variation von Hyperparametern innerhalb einer festen Architektur lediglich 6 % ausmacht. Eine unabhängige Validierung an einem zweiten Kollisionsdatensatz bestätigt diese Erkenntnis mit 75 % architekturbedingter Varianz und einem anderen Sieger‑Backbone, was die echte Entdeckung neuer Architekturen belegt.

Ein Highlight der Arbeit ist die Entdeckung einer Kombination aus V‑JEPA‑2‑Videofeatures und Zipformer‑Zeitencodern, die eine AP‑Wertung von 0,9245 erreichte – ein Setup, das von keinem Menschen vorgeschlagen wurde. Bei einer Stichprobengröße von 50 erreichte die LLM‑gesteuerte Suche eine AP von 0,985, während ein zufälliger, von Grund auf neu gestarteter Ansatz nur 0,965 erreichte.

Nach einer Fehlerbehebung folgt die Konvergenz einer Power‑Law‑Kurve (c = 0.11, R² = 0,93), was die Kosten für die breite Exploration erklärt, nicht jedoch Ineffizienz. Die Studie liefert zudem ein erstes umfassendes empirisches Rahmenwerk für Multi‑Agent‑Suchdynamiken, basierend auf Entropiezyklen und Jensen‑Shannon‑Spezialisierung.