AstroReason-Bench: Testet Agentenplanung in komplexen Raumfahrtproblemen

Neues Benchmarking-Tool namens AstroReason-Bench wurde vorgestellt, um die Leistungsfähigkeit von agentenbasierten Sprachmodellen (LLMs) in realen, physikgebundenen Raumfahrtplanungsaufgaben zu prüfen. Diese Aufgaben, die als Space Planning Problems (SPP) bezeichnet werden, zeichnen sich durch heterogene Ziele, strenge physikalische Beschränkungen und langfristige Entscheidungsfindung aus.

AstroReason-Bench integriert verschiedene Planungsregime, darunter die Koordination von Bodenstationen für die Kommunikation und die agile Beobachtung der Erde. Das Benchmark bietet ein einheitliches, agentenorientiertes Interaktionsprotokoll, das die Vergleichbarkeit zwischen unterschiedlichen Systemen erleichtert.

Bei Tests mit führenden offenen und geschlossenen LLM-Agenten zeigte sich, dass diese Systeme deutlich schlechter abschneiden als spezialisierte Solver. Die Ergebnisse unterstreichen die Grenzen von Generalisten in komplexen, realitätsnahen Planungsumgebungen und weisen auf wichtige Forschungsbereiche hin.

Das Benchmark stellt somit ein anspruchsvolles und diagnostisches Testfeld für zukünftige Entwicklungen im Bereich der agentenbasierten Planung dar.