ResearchGym: Benchmark für KI-Agenten in echter Forschungsumgebung

ResearchGym ist ein neues Benchmark- und Ausführungsumfeld, das KI-Agenten in einer echten Forschungsumgebung testen soll. Dabei werden fünf Oral- und Spotlight-Papiere aus ICML, ICLR und ACL verwendet. Für jedes Paper werden die Datensätze, das Evaluierungsharness und die Basisimplementierungen übernommen, während die vorgeschlagenen Methoden bewusst ausgelassen werden.

Das Ergebnis sind fünf containerisierte Aufgabenumgebungen mit insgesamt 39 Unteraufgaben. In jeder Umgebung müssen Agenten neue Hypothesen formulieren, Experimente durchführen und versuchen, die starken menschlichen Baselines der jeweiligen Paper zu übertreffen. Ein kontrollierter Test mit einem GPT‑5‑Agenten zeigte einen deutlichen Unterschied zwischen Fähigkeit und Zuverlässigkeit: Der Agent verbesserte die vorhandenen Baselines in nur einer von 15 Bewertungen (6,7 %) um 11,5 % und erledigte durchschnittlich nur 26,5 % der Unteraufgaben.

Die Analyse identifizierte wiederkehrende Fehlerquellen wie Ungeduld, schlechte Zeit- und Ressourcenplanung, übermäßiges Selbstvertrauen in schwache Hypothesen, Schwierigkeiten bei der Koordination paralleler Experimente und Begrenzungen durch die Kontextlänge. Trotzdem konnte der Agent in einem einzigen Durchlauf die Lösung einer ICML‑2025‑Spotlight-Aufgabe übertreffen, was zeigt, dass Spitzenagenten gelegentlich den Stand der Technik erreichen, jedoch nicht zuverlässig.

Zusätzlich wurden proprietäre Agenten wie Claude Code (Opus‑4.5) und Codex (GPT‑5.2) getestet, die ein ähnliches Fähigkeits‑Zuverlässigkeitsgefälle aufwiesen. ResearchGym bietet damit eine strukturierte Infrastruktur für die systematische Bewertung und Analyse autonomer Agenten in geschlossenen Forschungszyklen.