KompeAI: Beschleunigtes Multi-Agent AutoML-System erzielt neue Rekorde

Die neuesten LLM‑basierten AutoML‑Systeme zeigen beeindruckende Fähigkeiten, stoßen jedoch an Grenzen: Die Erkundung neuer Pipeline‑Kombinationen bleibt auf ein‑Shot‑Methoden beschränkt, während Monte‑Carlo‑Tree‑Search‑Ansätze starke Teillösungen nicht sinnvoll zusammenführen. Gleichzeitig verlangsamen lange Code‑Validierungsschleifen die iterative Optimierung.

KompeAI löst diese Probleme mit einem dynamischen Erkundungs‑Framework, das Ideen nicht isoliert behandelt, sondern in einer speziellen Merge‑Phase die besten Kandidaten kombiniert. Durch die Integration von Retrieval‑Augmented‑Generation (RAG) werden Ideen aus Kaggle‑Notebooks und arXiv‑Papers eingebunden, wodurch die Hypothesen­raumgröße erheblich erweitert wird.

Der Ausführungs­engpass wird durch ein prädiktives Scoring‑Modell und eine beschleunigte Debugging‑Methode überwunden. Diese Technik bewertet das Potenzial von Lösungen anhand von Früh‑Messwerten und verhindert aufwändige Voll‑Code‑Ausführungen. Das Ergebnis: Die Pipeline‑Bewertung wird um das 6,9‑Fache beschleunigt.

In Benchmark‑Tests übertrifft KompeAI führende Methoden wie RD‑Agent, AIDE und Ml‑Master durchschnittlich um 3 % auf dem AutoML‑Benchmark MLE‑Bench. Zusätzlich wurde Kompete‑Bench entwickelt, um die Einschränkungen von MLE‑Bench zu adressieren, und KompeAI erzielt dort ebenfalls den aktuellen Stand der Technik.