LLM-WikiRace: Benchmark für Langzeitplanung und Weltwissen in KI

Mit dem neuen Benchmark LLM-WikiRace wird die Fähigkeit großer Sprachmodelle (LLMs) getestet, komplexe Planungsaufgaben zu lösen und dabei ihr Wissen über die reale Welt anzuwenden. Das Ziel besteht darin, von einer Startseite aus mithilfe von Wikipedia‑Links schrittweise zur Zielseite zu gelangen – ein Test, der Vorausplanung und das Verstehen von Zusammenhängen zwischen Konzepten erfordert.

In einer umfassenden Evaluation wurden sowohl Open‑Source‑ als auch proprietäre Modelle wie Gemini‑3, GPT‑5 und Claude Opus 4.5 eingesetzt. Auf der einfachen Schwierigkeitsstufe erzielen die Modelle superhuman Ergebnisse, während die Leistung bei der harten Variante stark abfällt. Das bestperformende Modell, Gemini‑3, erreicht lediglich 23 % Erfolgsrate bei den anspruchsvollsten Aufgaben.

Die Analyse zeigt, dass Weltwissen zwar ein wichtiger Erfolgsfaktor ist, jedoch nur bis zu einem gewissen Punkt. Ab diesem Schwellenwert bestimmen Planung und langfristiges Denken die Ergebnisse. Trajektorien‑Analysen verdeutlichen, dass selbst die stärksten Modelle nach einem Fehlschlag häufig in Schleifen geraten, anstatt ihre Strategie neu zu planen.

LLM-WikiRace bietet damit ein einfaches, aber aufschlussreiches Testfeld, das die aktuellen Grenzen von KI‑Systemen im Bereich des logischen Denkens aufzeigt. Der Code sowie die Leaderboard‑Daten stehen unter https://llmwikirace.github.io zur Verfügung.