UAVBench: 50.000 LLM-generierte UAV-Flugszenarien als neues Benchmark-Set

UAVBench ist ein öffentliches Benchmark-Dataset, das 50.000 validierte UAV-Flugszenarien enthält. Die Szenarien wurden mithilfe von taxonomiebasiertem Prompting großer Sprachmodelle (LLMs) erzeugt und anschließend in mehreren Validierungsschritten auf physikalische Plausibilität geprüft.

Jedes Szenario ist in einem strukturierten JSON-Schema abgelegt, das Missionen, Fahrzeugkonfigurationen, Umweltbedingungen und quantitative Risikokennzahlen umfasst. Dadurch entsteht eine einheitliche Darstellung von UAV-Operationen über verschiedene Einsatzbereiche hinweg.

Zur Erweiterung des Benchmarks wurde UAVBench_MCQ entwickelt, das 50.000 Multiple‑Choice-Fragen zu zehn kognitiven und ethischen Fragestellungen enthält. Die Fragen decken Themen wie Aerodynamik, Navigation, Multi‑Agenten‑Koordination und integrierte Entscheidungsfindung ab und ermöglichen eine interpretierbare, maschinenprüfbare Bewertung der UAV‑spezifischen Kognition.

In einer umfassenden Evaluation wurden 32 führende LLMs – darunter GPT‑5, ChatGPT‑4o, Gemini 2.5 Flash, DeepSeek V3, Qwen3 235B und ERNIE 4.5 300B – getestet. Die Modelle zeigten starke Leistungen in Wahrnehmung und Politik‑Reasoning, standen jedoch vor Herausforderungen bei ethik‑sensiblen und ressourcenbeschränkten Entscheidungen. UAVBench liefert damit eine reproduzierbare, physikalisch fundierte Basis für die Bewertung agentiver KI in autonomen Luftfahrtsystemen und fördert die Entwicklung der nächsten Generation von UAV‑Technologien.