Zork‑Test: LLMs erreichen kaum 10 % Erfolg – Detailanweisungen helfen nicht

In einer neuen Studie wurde die Problemlösungs‑ und Denkfähigkeit moderner Large Language Models (LLMs) anhand des klassischen Text‑Adventure‑Spiels Zork aus dem Jahr 1977 getestet. Das Spiel, das seit 1977 existiert, bietet eine dialogbasierte Umgebung, in der Chatbots ihre Fähigkeit unter Beweis stellen können, natürliche Sprachbeschreibungen zu verstehen und passende Aktionsketten zu generieren.

Die Forscher haben die führenden proprietären Modelle ChatGPT, Claude und Gemini sowohl mit minimalen als auch mit ausführlichen Anweisungen eingesetzt. Der Fortschritt wurde anhand der erreichten Punktzahl gemessen, wobei die maximale Punktzahl 350 beträgt.

Die Ergebnisse sind überraschend niedrig: Alle getesteten Modelle erzielen durchschnittlich weniger als 10 % der maximalen Punkte. Selbst das bestperformende Modell, Claude Opus 4.5, erreicht lediglich rund 75 von 350 möglichen Punkten. Eine detaillierte Spielanleitung oder die Aktivierung von „extended thinking“ führt zu keinen Verbesserungen.

Eine qualitative Analyse der Entscheidungsprozesse der Modelle zeigt fundamentale Schwächen: wiederholte erfolglose Aktionen, fehlende Reflexion über eigene Gedanken, inkonsistente Strategien und das Versäumnis, aus vorherigen Versuchen zu lernen, obwohl der Gesprächsverlauf zugänglich war.

Diese Befunde deuten auf erhebliche Einschränkungen in den metakognitiven und problemlösenden Fähigkeiten aktueller LLMs hin und werfen Fragen zur Tiefe ihrer eigentlichen Denkprozesse auf.