FIRE‑Bench: Agenten testen Wiederentdeckung wissenschaftlicher Erkenntnisse

Autonome Agenten, die auf großen Sprachmodellen (LLMs) basieren, versprechen die wissenschaftliche Forschung von Anfang bis Ende zu beschleunigen. Doch bislang fehlt ein rigoroses Verfahren, um ihre Fähigkeit zur verifizierbaren Entdeckung zu messen. Viele Benchmarks verlassen sich entweder auf LLM‑basierte Urteilsmechanismen oder nutzen isolierte Leistungskennzahlen, die nur grobe Indikatoren für echtes wissenschaftliches Verständnis liefern.

Mit dem neuen Benchmark FIRE‑Bench (Full‑cycle Insight Rediscovery Evaluation) wird diese Lücke geschlossen. Agenten erhalten lediglich eine hochrangige Forschungsfrage aus einer verifizierten Studie und müssen eigenständig Ideen entwickeln, Experimente planen, Code schreiben, die Tests ausführen und fundierte Schlussfolgerungen ziehen. Dabei wird die gesamte Forschungs­kette von der Hypothese bis zur evidenzbasierten Erkenntnis abgebildet.

In einer ersten Evaluation wurden mehrere moderne Agenten mit Spitzen-LLM‑Backbones wie GPT‑5 auf FIRE‑Bench getestet. Die Ergebnisse zeigen, dass die vollständige wissenschaftliche Forschung für aktuelle Systeme nach wie vor schwierig ist: Selbst die leistungsstärksten Agenten erreichen unter 50 % F1‑Score, weisen große Laufvariabilität auf und zeigen wiederkehrende Fehler in Experimentdesign, Ausführung und evidenzbasierter Argumentation.

FIRE‑Bench liefert damit einen rigorosen und diagnostischen Rahmen, um Fortschritte bei der zuverlässigen, agentengetriebenen wissenschaftlichen Entdeckung systematisch zu messen und zu verstehen.