SC2Arena & StarEvolve: Neuer Benchmark für LLMs in komplexen Entscheidungsaufgaben

Die Bewertung großer Sprachmodelle (LLMs) in anspruchsvollen Entscheidungsaufgaben ist entscheidend, um die strategische Planung und die Echtzeit‑Anpassungsfähigkeit von KI-Systemen zu verbessern. Trotz der Popularität von StarCraft II als Testfeld fehlt bislang ein Benchmark, der die volle Komplexität des Spiels abbildet.

Der aktuelle Stand der Benchmarks berücksichtigt nicht das komplette Spielkontext, die vielfältigen Aktionsräume und alle spielbaren Rassen. Dadurch bleiben wichtige Aspekte der strategischen Tiefe und der räumlichen Logik unberücksichtigt.

Mit SC2Arena wird diese Lücke geschlossen. Der neue Benchmark unterstützt sämtliche spielbaren Rassen, arbeitet mit niedrig‑stufigen Aktionsräumen und optimiert textbasierte Beobachtungen, um die räumliche Problemlösung zu fördern. Dadurch können LLMs echte Spielstrategien erfassen und ausführen.

Als Ergänzung dazu wurde StarEvolve entwickelt – ein hierarchisches Framework, das strategische Planung mit taktischer Ausführung verbindet. Durch einen Planner‑Executor‑Verifier‑Ansatz werden Spiele in überschaubare Schritte zerlegt, während ein iteratives Selbstkorrektur‑System kontinuierlich die Leistung verbessert. Ein spezielles Scoring‑Modell wählt hochwertige Trainingsbeispiele aus, die das Modell weiter stärken.

Die Analyse mit SC2Arena liefert neue Einblicke in die Entwicklung von Allzweck‑Agenten, die mit früheren Benchmarks nicht erreichbar waren. Experimentelle Ergebnisse zeigen, dass StarEvolve die strategische Planung deutlich verbessert. Der komplette Code, die Umgebung und die Algorithmen stehen öffentlich zur Verfügung.