Empirical-MCTS: Agentenentwicklung durch Dual-Experience-MCTS

Die neuesten Skalierungsstrategien für die Inferenzzeit, insbesondere Monte‑Carlo‑Tree‑Search (MCTS), haben die Problemlösungsfähigkeiten großer Sprachmodelle deutlich verbessert. Dennoch bleiben aktuelle Ansätze überwiegend zustandslos: Erfolgreiche Denkmuster werden nach jedem Problem verworfen und die kumulative Wissensbildung, die Menschen beim Lösen von Aufgaben nutzen, fehlt völlig.

Mit Empirical‑MCTS wird dieses Defizit behoben. Das Dual‑Loop‑Framework verwandelt den stateless‑MCTS in einen kontinuierlichen, nicht‑parametrischen Lernprozess. Dabei werden lokale Exploration und globale Speicheroptimierung durch zwei neue Mechanismen miteinander verknüpft: Pairwise‑Experience‑Evolutionary Meta‑Prompting (PE‑EMP) und einen Memory‑Optimization‑Agent.

PE‑EMP fungiert als reflexiver Optimierer innerhalb der lokalen Suche. Durch die Auswertung von Paar‑Feedback‑Daten kann er in Echtzeit adaptive Kriterien generieren und die Meta‑Prompts (System‑Prompts) weiterentwickeln. Gleichzeitig verwaltet der Memory‑Optimization‑Agent einen globalen Repositorium, das als dynamische Policy‑Priorität dient. Mithilfe atomarer Operationen werden hochwertige Einsichten über verschiedene Aufgaben hinweg extrahiert und gespeichert.

Umfangreiche Tests auf anspruchsvollen Rechenaufgaben – darunter AIME25, ARC‑AGI‑2 und MathArena Apex – zeigen, dass Empirical‑MCTS sowohl stateless‑MCTS‑Strategien als auch eigenständige erlebnisbasierte Agenten deutlich übertrifft. Die Ergebnisse unterstreichen die entscheidende Notwendigkeit, strukturierte Suche mit empirischer Wissensakkumulation zu verbinden, um komplexe, offene Denkaufgaben zu meistern.