Einfache Baselines schlagen Code‑Evolution – Ergebnis aus arXiv-Studie

Eine neue Untersuchung zeigt, dass sehr einfache Vergleichsverfahren in drei unterschiedlichen Bereichen – die Suche nach besseren mathematischen Schranken, die Gestaltung agentiver Hilfssysteme und Wettbewerbe im maschinellen Lernen – Code‑Evolution, die auf großen Sprachmodellen basiert, nicht nur erreichen, sondern oft sogar übertreffen. Die Studie testet zwei Grundansätze, die keine komplexen Mutations‑ oder Evolutionsschritte nutzen, und vergleicht sie mit einer Reihe von fortgeschrittenen Code‑Evolution‑Pipelines.

Die Ergebnisse legen nahe, dass bei der Suche nach verbesserten mathematischen Schranken der entscheidende Faktor nicht die Suchmethode selbst, sondern die Gestaltung des Suchraums und das im Prompt eingebettete Fachwissen ist. Code‑Evolution spielt hier lediglich eine untergeordnete Rolle. Für die Entwicklung agentiver Hilfssysteme führt die hohe Varianz der generierten Scaffolds zusammen mit kleinen Datensätzen dazu, dass oft suboptimale Modelle ausgewählt werden – handgefertigte Mehrheitsabstimmungs‑Scaffolds schneiden dabei am besten ab.

Die Autoren kritisieren die derzeitigen Praktiken der Code‑Evolution und schlagen neue Evaluationsmethoden vor, die die Zufälligkeit reduzieren, ohne die Wirtschaftlichkeit zu gefährden. Abschließend skizzieren sie Richtlinien und Forschungswege, die eine rigorosere und effizientere Nutzung von Code‑Evolution in zukünftigen Arbeiten ermöglichen sollen.