HeroBench: Langzeitplanung strukturiertes Denken in virtuellen Welten

Die neuesten Fortschritte bei großen Sprachmodellen (LLMs) zeigen beeindruckende Leistungen bei isolierten, schrittweisen Denkaufgaben wie Mathematik und Programmieren. Doch ihre Fähigkeiten, komplexe Langzeitpläne zu erstellen – bei denen viele voneinander abhängige Aktionen in einer langen Sequenz ausgeführt werden müssen – bleiben bislang wenig erforscht.

Heranzogen wurde das neue Benchmark‑Set HeroBench, das speziell dafür entwickelt wurde, die Planungskompetenz von LLMs in realitätsnahen, RPG‑inspirierten virtuellen Welten zu testen. Das Paket umfasst ein sorgfältig kuratiertes Aufgaben‑Dataset, ein simuliertes Ausführungsumfeld und detaillierte Analysewerkzeuge, die es ermöglichen, die Qualität von Strategien, Ressourcenmanagement, Fertigkeitenentwicklung, Ausrüstungsherstellung und Gegnerbekämpfung zu bewerten.

In einer umfangreichen Evaluation wurden 25 aktuelle LLMs – sowohl Open‑Source‑Modelle als auch proprietäre Systeme wie die GPT‑5‑Familie – getestet. Die Ergebnisse zeigen deutliche Leistungsunterschiede, die in herkömmlichen Benchmarks selten beobachtet werden. Eine gezielte Fehleranalyse offenbart, dass die Modelle besonders Schwierigkeiten haben, robuste, hochrangige Pläne zu generieren und strukturierte Aktionen zuverlässig auszuführen.

HeroBench stellt damit einen bedeutenden Fortschritt in der Bewertung von LLM‑Reasoning dar, indem es die komplexen Anforderungen echter Planungsumgebungen abbildet und damit neue Einblicke in die Stärken und Schwächen moderner Sprachmodelle liefert.