AIRS-Bench: 20 neue Aufgaben für autonome Forschungsagenten

Die neueste Veröffentlichung von Forschern auf arXiv (2602.06855v1) stellt AIRS‑Bench vor – ein umfassendes Benchmark‑Set aus 20 Aufgaben, das speziell für die Bewertung von KI‑Agenten im wissenschaftlichen Forschungsprozess entwickelt wurde. Die Aufgaben stammen aus aktuellen Machine‑Learning‑Papers und decken ein breites Spektrum ab, darunter Sprachmodellierung, Mathematik, Bioinformatik und Zeitreihenprognosen.

Im Gegensatz zu herkömmlichen Benchmarks prüft AIRS‑Bench die agentischen Fähigkeiten über den gesamten Forschungszyklus: von der Ideenfindung über die Analyse von Experimenten bis hin zur iterativen Verfeinerung. Dabei werden keine Basis‑Codes bereitgestellt, sodass Agenten ihre eigenen Lösungswege entwickeln müssen. Das flexible Aufgabenformat erleichtert die Integration neuer Aufgaben und ermöglicht einen rigorosen Vergleich verschiedener Agenten‑Frameworks.

Die Autoren haben Baselines mit führenden Modellen sowohl in sequentiellen als auch in parallelen Architekturen erstellt. Die Ergebnisse zeigen, dass die Agenten in vier Aufgaben die menschliche State‑of‑the‑Art (SOTA) übertreffen, jedoch in sechzehn weiteren Aufgaben hinter ihr zurückbleiben. Selbst dort, wo die Agenten die menschlichen Benchmarks übersteigen, erreichen sie noch nicht die theoretische Leistungsgrenze der jeweiligen Aufgaben. Diese Erkenntnisse deuten darauf hin, dass AIRS‑Bench noch weit von einer Sättigung entfernt ist und erhebliches Verbesserungspotenzial bietet.

Um die Weiterentwicklung autonomer Forschungsagenten zu fördern, stellen die Autoren die vollständigen Aufgabenbeschreibungen und den Evaluationscode als Open‑Source zur Verfügung. Damit wird ein gemeinsamer Rahmen geschaffen, in dem die KI‑Community neue Agenten testen, vergleichen und weiterentwickeln kann.