LLMs als textbasierte Steuerung: Neue Benchmark für Exploration und Navigation

Forscher haben ein neues, reproduzierbares Benchmark entwickelt, um zu prüfen, ob große Sprachmodelle (LLMs) allein mit Textbefehlen in unbekannten Layouts navigieren und erkunden können – ohne Codeausführung, Werkzeuge oder Programmierung.

Das Testsystem besteht aus ASCII‑Gridwelten, in denen der Agent bei jedem Schritt nur ein 5×5‑Fenster um sich sehen kann. Der LLM muss dann eine der vier Richtungen UP, RIGHT, DOWN oder LEFT wählen. Auf drei Layouts unterschiedlicher Schwierigkeit werden zwei Aufgaben gemessen: die maximale Erkundung von Zellen und das Erreichen eines Ziels auf dem kürzesten Pfad.

Neun aktuelle LLMs – von Open‑Source‑Modellen über proprietäre Varianten bis hin zu Mixture‑of‑Experts und speziell trainierten Modellen – wurden getestet. Die Ergebnisse zeigen, dass Modelle, die auf logisches Denken trainiert wurden, die Navigation zuverlässig absolvieren, jedoch noch nicht die Effizienz eines optimalen Pfades erreichen. Durch das Einbinden von wenigen Demonstrationen im Prompt lassen sich Fehler reduzieren und die Pfadlänge verkürzen.

Interessanterweise neigen die Modelle dazu, häufig nach oben oder rechts zu gehen, was bei eingeschränkter Sicht zu Schleifen führen kann. Die Studie legt nahe, dass das Trainingsregime und die Entscheidungsfindung im Testzeitpunkt die Steuerungsfähigkeit besser vorhersagen als die reine Parameterzahl.