ItinBench: LLMs im Test – Planung über mehrere kognitive Dimensionen

In der Forschung zu großen Sprachmodellen (LLMs) rückt die Fähigkeit, komplexe Planungsaufgaben zu lösen, immer stärker in den Fokus. Traditionelle Tests konzentrieren sich häufig auf einzelne, kontrollierte Fragen zu Logik oder Sprache. Neuere Studien haben jedoch gezeigt, dass Reiseplanung ein vielversprechendes Mittel ist, um sprachbasierte Denkaufgaben in realen Kontexten zu verankern.

Allerdings beschränkt sich die Planung nicht nur auf sprachliche Aspekte. Um die Leistungsfähigkeit von LLMs wirklich zu prüfen, braucht es ein Testfeld, das mehrere kognitive Bereiche gleichzeitig abdeckt. Hier kommt ItinBench ins Spiel: ein Benchmark, der neben klassischen sprachlichen Aufgaben auch räumliches Denken – konkret die Optimierung von Routen – in die Reiseplanung integriert.

ItinBench wurde mit einer Auswahl führender Modelle getestet, darunter Llama 3.1 8B, Mistral Large, Gemini 1.5 Pro und verschiedene GPT‑Versionen. Die Ergebnisse zeigen, dass die Modelle Schwierigkeiten haben, bei gleichzeitiger Bearbeitung mehrerer kognitiver Dimensionen konstant hohe Leistungen zu erbringen. Diese Erkenntnisse unterstreichen die Notwendigkeit umfassenderer Testumgebungen, die echte Weltherausforderungen besser widerspiegeln.

Der komplette Code und die Datensätze stehen unter https://ethanwtl.github.io/IBweb/ zur Verfügung.