MobilityBench: Benchmark für LLM-basierte Routenplanung in realen Szenarien
In der Mobilitätsforschung hat sich ein neues Paradigma etabliert: Route‑Planning‑Agenten, die auf großen Sprachmodellen (LLMs) basieren, ermöglichen die Planung von Fahrtrouten über natürliche Sprachinteraktion und too…
- In der Mobilitätsforschung hat sich ein neues Paradigma etabliert: Route‑Planning‑Agenten, die auf großen Sprachmodellen (LLMs) basieren, ermöglichen die Planung von Fah…
- Doch bislang fehlte ein systematisches Verfahren, um diese Agenten unter realen Bedingungen zu testen.
- Mit MobilityBench – einem skalierbaren Benchmark – wird dieses Problem angegangen.
In der Mobilitätsforschung hat sich ein neues Paradigma etabliert: Route‑Planning‑Agenten, die auf großen Sprachmodellen (LLMs) basieren, ermöglichen die Planung von Fahrtrouten über natürliche Sprachinteraktion und tool‑gestützte Entscheidungsfindung. Doch bislang fehlte ein systematisches Verfahren, um diese Agenten unter realen Bedingungen zu testen.
Mit MobilityBench – einem skalierbaren Benchmark – wird dieses Problem angegangen. Der Testdatensatz stammt aus anonymisierten, hochvolumigen Nutzeranfragen der Plattform Amap und deckt ein breites Spektrum an Routenplanungsintentionen in Städten weltweit ab. Durch einen deterministischen API‑Replay‑Sandbox werden Live‑Service‑Variabilitäten eliminiert, sodass die Ergebnisse reproduzierbar sind.
Der Evaluationsrahmen von MobilityBench ist mehrdimensional: Er misst die Gültigkeit der Ergebnisse, das Verständnis der Anweisungen, die Planungsfähigkeit, die Nutzung von Werkzeugen und die Effizienz. Auf dieser Basis wurden mehrere LLM‑basierte Agenten in unterschiedlichen realen Mobilitätsszenarien getestet.
Die Ergebnisse zeigen, dass aktuelle Modelle solide bei einfachen Informationsabrufen und Standard‑Routenplanung sind, jedoch bei Präferenz‑basierten Planungen deutlich hinter den Erwartungen zurückbleiben. Dies unterstreicht den Bedarf an verbesserten, personalisierten Mobilitätslösungen.
MobilityBench und die zugehörigen Daten werden öffentlich zugänglich gemacht, um die Forschung in diesem aufstrebenden Feld zu fördern und die Entwicklung leistungsfähigerer Agenten voranzutreiben.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.