AgentDrive: Offenes Dataset für KI-Agents mit LLM-generierten Fahrszenarien

Die rasante Entwicklung großer Sprachmodelle (LLMs) hat das Interesse an deren Einsatz in autonomen Systemen für perception‑, planning‑ und decision‑making‑basierte Aufgaben stark angetrieben. Doch die Bewertung und das Training solcher agentischen KI‑Modelle bleiben schwierig, weil es bislang keine umfangreichen, strukturierten und sicherheitskritischen Benchmarks gibt.

Mit AgentDrive wird dieses Problem angegangen: Das offene Dataset enthält 300 000 von LLMs generierte Fahrszenarien, die für Training, Feinabstimmung und Evaluation von autonomen Agenten unter vielfältigen Bedingungen genutzt werden können. Die Szenarien werden über einen Prompt‑zu‑JSON‑Pipeline erzeugt, die semantisch reichhaltige, simulationsbereite Spezifikationen liefert und anschließend gegen physikalische sowie schema‑basierte Constraints validiert wird. Jede Situation wird simuliert, ein Surrogat‑Sicherheitsmetriken‑Berechnung durchgeführt und die Ergebnisse regelbasiert klassifiziert.

Zur Ergänzung der simulationsbasierten Bewertung stellt AgentDrive-MCQ ein 100 000‑Fragen‑Multiple‑Choice‑Benchmark bereit, das fünf Dimensionen des Denkens abdeckt: Physik, Politik, Hybrid, Szenario und vergleichende Logik. In einer groß angelegten Evaluation wurden fünfzig führende LLMs getestet. Die Ergebnisse zeigen, dass proprietäre Spitzenmodelle besonders stark in kontext‑ und politikbezogenem Denken sind, während fortgeschrittene Open‑Source‑Modelle schnell den Abstand in strukturiertem und physikbasierendem Denken verkleinern.

Das AgentDrive‑Dataset sowie das zugehörige MCQ‑Benchmark werden frei zugänglich gemacht und bieten Forschern eine robuste Plattform, um agentische KI‑Modelle unter realitätsnahen, sicherheitskritischen Bedingungen zu trainieren und zu evaluieren. Damit wird ein wichtiger Schritt zur Weiterentwicklung von autonomen Systemen mit KI‑Agents unternommen.